À la suite à l'autorisation de l'évêque de Quimper,
d'une ordonnance royale et de lettres patentes enregistrées au
parlement de Bretagne, les capucins sont autorisés à s'installer à
Quimperlé en 1653. Ils font l'acquisition de terrains à la périphérie
de la haute ville qui seront progressivement cernés de murs. Les
travaux de construction des bâtiments conventuels, réalisés par le
maître maçon Mathurin Grellepoix originaire de la ville proche de
Hennebont (Morbihan), débutent en 1656 et se terminent en 1667. Les bâtiments, peu entretenus depuis la Révolution, figurent sur le cadastre de 1824. La ville en devient propriétaire en 1832. Entre 1832 et 1853, un collège d'enseignement religieux occupe les bâtiments qui avaient connu des transformations importantes et qui serviront d'école primaire supérieure publique de garçons à partir de 1889. On signale les vestiges de la chapelle et les ruines du cloître en 1881.