Provient de la Chapelle des Carmes qui appartenait au couvent construit en 1676-1677.

Etablis à La Rochelle à la fin du 13e siècle, les carmes construisirent, dans le quartier du Perrot, un monastère qui fut rasé en 1556, sur ordre royal, pour laisser place à une citadelle. Ils s'installèrent alors à l'hôpital Saint-Julien, puis durent émigrer lors des luttes religieuses. Revenus en 1628, ils reprirent leurs anciennes possessions, qui étaient alors une place nue, et construisirent leur nouveau couvent, de 1645 à 1665, et une chapelle, en 1676 et 1677. En 1791, leur couvent devint propriété nationale, puis entrepôt de douane en 1808, puis marché au poisson en 1841 (occupant d'abord le jardin, puis le cloître et la chapelle après le transfert des douanes dans l'église Saint-Nicolas en 1887). En 1896, ce marché fit l'objet d'une presque totale reconstruction, par Corbineau, qui ne conserva du couvent que la façade de la chapelle et les arcades du cloître et aménagea une vaste halle, dotée d'une nouvelle façade rue Saint-Jean. En 1957, le marché au poisson alla s'installer dans une nouvelle halle édifiée le long du bassin à flot extérieur, l'ancien encan devint alors salle de sport, avant les aménagements de 1980, par J.-P. Boutet, pour en faire la maison de la culture. Des pierres sculptées provenant de la chapelle ont été déposées dans le jardin du musée d'Orbigny et des monuments funéraires à la bibliothèque municipale.