Vers l’an 700, Rolland du Roussillon fonde un couvent dans la bourgade de Seyr. Cette première implantation religieuse est détruite par l’invasion arabe qui suit. En 756, un nouveau monastère, régi par la règle de saint Colomban, est fondé par Pépin le Bref. Il est détruit avec le village par les invasions barbares. Lorsque la paix revient, l’évêque d’Auxerre Geoffroy de Champallement souhaite relever les ruines. Il obtient des seigneurs du lieu la cession des parcelles de terrain sur lesquelles elles gisent, avant de les céder à son tour à l’abbé de Cluny, saint Hugues.

Ce dernier envoie à Seyr le moine Gérard et un nouveau monastère est fondé vers 1052 – 1056. La charité que les pères dispensent aux pauvres vaut à Seyr un nouveau nom : La Charité-Sur-Loire. Le prieuré, qui devient la « fille aînée » de Cluny, connaît une forte croissance, abritant jusqu’à 200 religieux et possédant des centaines de dépendances, en France et en Europe. Un long conflit avec un seigneur local, Rainault, n’atteint pas sa prospérité. L’église est consacrée le 9 mars 1107 par le pape Pascal II, qui l’exempte de toute soumission au pouvoir temporel.
Le prieuré s’enrichit encore à l'époque des Croisades, grâce aux dons faits par les Croisés avant leur départ. En 1173, les moines prennent le titre de seigneurs temporels de la Charité.

Au XIIIe siècle, la ville n’est pas épargnée par l’hérésie cathare et l’Inquisition dominicaine instaurée pour en venir à bout. Un malheur n’arrivant jamais seul, outre un incendie en 1204, le monastère doit endurer à la même époque les frasques d’un mauvais prieur, Geoffroy. Celui-ci, peu vertueux, dilapide les biens du prieuré et défie l’autorité de Cluny, allant jusqu’à retenir prisonnier l’abbé de Cluny, Guillaume, qui l’avait excommunié, et ce, avec la complicité du comte de Nevers. Il faut l’intervention du roi Philippe Auguste pour que les choses rentrent dans l’ordre.

Au XIIIe siècle et au début du XIVe, des tensions se font sentir entre les bourgeois de la ville et le prieuré; les premiers réclamant plus de libertés dans les domaines du commerce et de la justice, notamment, à l'image de chartes communales obtenues dans d'autres cités. La Guerre de Cent Ans cause à la Charité bien d'autres ennuis. Prise par les Navarrais en 1364, la ville est délivrée par Philippe le Hardi, duc de Bourgogne, à la demande du roi de France Charles V. Elle reste dominée par la Bourgogne alors que celle-ci change de camp. Un capitaine du nouveau duc de Bourgogne, Perrinet-Gressart, pille le prieuré et maltraite les moines, son excommunication ayant peu d'effet sur son comportement. Brièvement reprise par le roi de France en 1422, la ville retombe sous la coupe de Perrinet-Gressart peu après. Celui-ci se comporte alors en véritable gouverneur, flattant les habitants aux dépens des religieux. Jeanne d'Arc entreprend en vain le siège de la ville en 1429. Perrinet-Gressart refuse obstinément de céder sa place lorsque la Bourgogne et la France signent des trèves (il bénéficie de l'appui du roi d'Angleterre), et un accord finit par le laisser en place en 1435.

La fin du XVe siècle voit l'arrivée du premier abbé commendataire. Un abbé non commendataire, Jean de la Madeleine de Ragny, lui succède (1504), engageant des travaux de rénovation. C'est ensuite le début de la décadence du prieuré. Le nombre de religieux est réduit à trente. Un gigantesque incendie en 1559 précède les pillages à répétitions des guerres de religions. Maintes fois convertie au protestantisme, la Charité finit par revenir dans le giron catholique.
A la fin des guerres de religions, se succèdent plusieurs prieurs de la familles de Clèves. Le dernier, Charles de Gonzague, délaisse sa charge pour le duché de Nevers mais tente de conserver les droits de justice liés au monastère. Il s'en suit un long procès avec notamment Alphonse Duplessis de Richelieu, frère du cardinal, devenu prieur. A cette époque le prieuré abrite un saint, Robert Mauvielle, dont le corps après sa mort se subit aucune putréfaction. Durant son cours passage au monastère, il prêche la réforme des moeurs, écouté en cela par le prieur.

Mais en 1646, Alphone Duplessis de Richelieu ayant perdu le soutien de son puissant frère, perd son procès, et les commendataires suivants mènent grand train aux dépens du prieuré. L'un d'entre eux, néanmois, Jacques-Nicolas Colbert, procède à la reconstruction de quelques bâtiments.
A la Révolution, les bâtiments du prieuré sont vendus à des particuliers, sans destruction. En 1840, Prosper Mérimée, intervient pour sauver l'église d'une désastreuse opération d'aménagement du territoire et la fait classer aux monuments historiques.
La Charité appartient aujourd'hui à la fédération des sites clunisiens.