Née à Vonnas, Anne-Marie Crollet est la fille du riche châtelain de Montfalcon. Veuve et sans enfant, elle lègue ses biens à sa mort en 1687 à la Ville de Bourg-en-Bresse pour fonder une charité afin d’accueillir les pauvres, principalement les filles mendiantes. Un portrait en buste de la fondatrice de la Charité est aujourd’hui conservé à l’Hôtel-Dieu de Bourg-en-Bresse.
Dans sa maison de la rue des Farges à Bourg (au 8 rue du Docteur Ebrard aujourdhui), elle avait installé un dortoir d’une dizaine de lits pour accueillir des orphelines qu’elle occupait à des travaux de tissage. L’ouvroir était placé sous la direction de « maîtresses », formant ainsi une sorte de petite communauté laïque.
Le 28 juin 1688, juste après sa mort, l’archevêque de Lyon autorise l’érection d’une chapelle fondée sous le patronage de Notre-Dame-de-la-Pitié dans l’établissement naissant. Le 14 mai 1703, l’achat de la maison Duclos contigüe à la Charité permet l’édification d’une chapelle plus importante dans laquelle fut transféré l’autel d’origine.
La Ville confie cette fondation à des sœurs séculières. Elles accueillent d’abord les filles pauvres âgées d’au moins 7 ans, les personnes âgées à partir de 1720, puis les garçons et les enfants abandonnés à partir de 1750. Les enfants reçoivent une formation chrétienne et apprennent un métier. Les bébés sont placés en nourrice dans la campagne environnante. En 1789, la Charité veille ainsi sur environ 500 enfants.
Au départ de la fondation vers ses nouveaux locaux, la maison Brunet-Crollet, mise en vente pour 5000 livres, est adjugée au docteur Jean-Joseph, figure de la bourgeoisie burgienne, qui s’installe en 1751 dans l’asile désaffecté. Une restauration conduit à percer la façade de « cinq croisées à la française », ornées de balcons en fer forgé comme ceux des hôtels de la rue Bourgmayer à la même période.

Les anciens locaux s’avérant insalubres car proches du Cône, et beaucoup trop exigus, plusieurs projets de transfert sont avancés, sans succès. Ce n’est qu’en 1738 que des terres sont achetées au faubourg de Mâcon, permettant la construction du nouvel hospice. Les travaux commencent en 1742 et la fondation s’y installe en 1747.

C'est l'architecte Sieur Thomas de Chalon-sur-Saône qui réalise les plans et devis de ce nouveau bâtiment en 1741. Il est également connu pour avoir dessiné la fontaine de Neptune à Chalon-sur-Saône.

La chapelle est prévue avec un accès direct sur la rue. Le prieur de la Chartreuse de Seillon fait don d’une grande porte en pierre de taille pour l’entrée. La  construction s’achève et l’édifice « décent et régulier » est béni le 10 août  1750 par messire Humbert Curtil, prévôt du chapitre de Notre-Dame. Le chapitre fait don d’un riche tabernacle, le chanoine Chambard, d’une nappe d’autel, mademoiselle Chazey de trois autres nappes, linges divers et tapisseries, les Clarisses d’une chasuble, d’une étole et d’un manipule… Les reliques de divers saints, en particulier de saint Agricole, déposées à l’ancienne chapelle, y sont transférées en grande pompe. Le 13 juillet 1781, une cloche est bénie. Les reliques de saint Agricole, martyre des premiers siècles qui ressuscitait les petits enfants, avaient été obtenues par Dom Ambroise Crollet, frère d’Anne-Marie Crollet et général des Chartreux. 

La Charité faillit disparaître sous la Révolution. En 1817, la Ville fait appel aux sœurs de la Charité de Besançon qui tiennent l’établissement jusqu’au 20e siècle. Des agrandissements sont faits vers 1842 mais en 1860 les bâtiments s’avèrent de nouveau insuffisants. La guerre de 1870 stoppe un premier projet de reconstruction puis les travaux reprennent, confiés à l’architecte départemental Charles Martin.  De violents conflits ralentissent le chantier, à tel point que l’architecte et le surveillant des travaux sont victimes d’une tentative d’assassinat de la part de l’un des entrepreneurs. 

En 1873, la nouvelle Charité  est enfin achevée pour un montant de 487544 francs. L’ensemble est composé de 3 corps de bâtiments hauts de 3 étages, disposés en U autour d’une cour au milieu de laquelle se dresse la chapelle. Trois pignons en escalier ornent la façade principale.

La misère de la classe populaire, « la honte des filles mères » et leur douloureux statut entraînent un flot d’abandons d’enfants jusqu’au début du 20e siècle. Un décret de 1811 prévoit qu’un hospice par arrondissement reçoive les enfants trouvés. Dans l’Ain, l’hospice de la Charité aura ce rôle.
Jusqu’en 1850, les enfants sont abandonnés anonymement dans un « tour ». Le nombre des admissions était d’environ 140 par an. Dès leur arrivée à l’hospice, les enfants sont confiés à des nourrices. Certaines communes pauvres du Revermont (Treffort, Ceyzériat, Coligny…) et du Haut Bugey se font une spécialité de cette éducation des enfants trouvés. A 8 ans, ils sont placés comme bergers. L’hiver, ils sont souvent renvoyés à la Charité de Bourg-en-Bresse, puis à l’âge de 10 ans, mis en apprentissage.

L’établissement étend aussi son accueil aux orphelins, aux enfants de parents malades, indigents ou emprisonnés. En 250 ans, la Charité a ainsi secouru environ 20 000 enfants. C’est dire le service qu’elle a rendu.

Et accueil des vieillards

En 1720 Marie Vandervel, veuve de Claude Blot, dote la Charité d’un legs pour accueillir de façon permanente quatre pauvres veuves âgées d’au moins cinquante ans. C’est le début de la section des « vieillards », nom donné aux personnes âgées jusqu’au 20e siècle.
La maison de retraite de la Charité est transférée en 1994 à la Résidence Emile Pélicand et à l’Hôtel-Dieu.

Les bâtiments de la Charité, devenus propriété du Département de l’Ain, sont restaurés par le cabinet d’architecte Gerbe et le cabinet Delers et associés à partir de 2006. L’antenne de l’université de Lyon III s’y transfert à la rentrée 2011 après d’importants travaux de rénovation. La propriété des bâtiments est transférée à titre gratuit à l'Etat en 2015.

L’architecte burgien Jacques Gerbe, diplômé en 1986 et inscrit à l’ordre des architectes depuis 1987, a été plusieurs fois primé. Il a notamment obtenu la médaille d’or du challenge de l’habitat innovant en 2017 dans la catégorie prix spécial du Jury pour l’ancienne prison de Bourg-en-Bresse.

Le parc d’une surface de 8 000 m² est ouvert au public depuis juin 2017. Il a été aménagé à partir des principes de développement durable et a été le lieu du lancement de la charte de l’arbre, avec pour première action la création d’un verger urbain partagé.