Abélard, le célèbre philosophe et théologien du 12ème siècle, est élu abbé de Rhuys en 1125. Alors qu'elle connaissait une période de décadence, il veut en restaurer les bâtiments et y restaurer une forme de vie religieuse plus conforme à la règle de St Benoît. Mais les moines s'opposent à ces tentatives et Abélard doit fuir en 1132.

En 1506, l'abbaye est mise en commende, système sous lequel les revenus d'un monastère sont attribués à un abbé laïc qui n'y séjourne que rarement et n'a généralement aucun soucis de sa vie spirituelle. L'abbaye tombe en décadence et les bâtiments se ruinent peu à peu. En 1668, un coup de foudre sur le clocher provoque l'effondrement de la nef de l'église abbatiale.

A la fin du 17ème siècle, les moines de la Congrégation de St Maur viennent à St Gildas, restaurent le choeur roman de l'église et reconstruisent la nef, dans le style classique. Mais le pape Clément XIV retire au monastère son titre d'abbaye en 1773, et, en 1789, il n'y reste que 5 moines. St Gildas avait pourtant fondé 25 prieurés tout au long de son histoire... En 1796, l'ensemble du domaine, y compris l'église et les dépendances, sont vendus comme biens nationaux. L'église devient église paroissiale en 1802. La commune la rachète en 1804.

C'est le 3 novembre 1824 que la fondatrice des Soeurs de la Charité de St Louis, Madame Molé de Champlatreux, rachète l'Abbaye pour 55 000 francs. Les soeurs y arrivent en mai 1825. Les moines n'avaient pas laissé de très bons souvenirs et l'accueil de la population est rude... Tous les bâtiments sont en ruine. Les soeurs ouvrent néanmoins une école, puis un orphelinat, où les jeunes filles sont formées à la culture de la terre. Comme ces établissements sont gratuits, il faut trouver des ressources : en 1833, les soeurs ouvrent la maison aux touristes qui y viennent pour les bains de mer. C'est là les débuts de la faveur dont St Gildas de Rhuys jouit auprès des vacanciers...