Le musée d'Art et d'Histoire de Rochefort a été crée au XIXième siècle par le maire Roy Bry, à partir d'une collection d'oeuvres d'art léguée à la Ville par Fiocchi.
La pièce maîtresse de cette collection est une esquisse peinte de Rubens : " Lycaon changé en loup ".
Cette collection s'est enrichie très vite par des donations et des dépôts de l'Etat, ainsi que par des achats et des dons de diverses notabilités de la ville.
On compte parmi les dépôts de l'Etat, un ensemble de tableaux dont le monumental " Massacre des Janissaires " de Champmartin et le " Combat de la frégate la Virginie " de Garneray et un dépôt archéologique de l'Antiquité méditerranéenne provenant de la collection Campana.

La partie concernant l'histoire locale s'est constituée autour d'une pièce maîtresse : le plan relief de la ville de Rochefort, réalisé en 1835 par Touboulic.
A côté de ce plan-relief, des sculptures, des tableaux, des maquettes de bateaux, des dessins (notamment celui d'Edelinck) et des gravures évoquent l'arsenal, la construction de la ville et son évolution.

Quelques objets proviennent d'ateliers d'artisans rochefortais : horloges (dont une horloge astronomique), plaques de cheminée en fonte et un petit ensemble d'orfèvrerie du XVIIIème siècle acheté en 1995.

Plusieurs collections en provenance de pays d'Outre-Mer constituent un autre pôle important au sein du musée.
Ce fonds s'est constitué au XIXème siècle à partir des objets rapportés par les rochefortais : don de la famille Lesson, donation de l'administrateur colonial Jules Sylvestre par l'intermédiaire de la Société de géographie. Ces dons concernent des objets océaniens (Polynésie et Mélanésie), dont de très beaux et rares masques Koumac, des objets asiatiques dont une statue de pierre du dieu Ganeça datant du VIIIème siècle et un Bouddha Sakyamuni du XVIIème siècle.

Il faut ajouter encore une collection de coquillages du monde entier d'un grand intérêt donnée au musée en 2000. Cependant, ces coquillages ne sont en rien liés à l'histoire de la ville.

Actuellement, l'équipe du musée entreprend le déménagement des collections car il fermera ses portes au début de l'automne pour deux ans au moins. Pendant cette période, le personnel sera mobilisé pour travailler sur les collections et préparer leur nouvelle présentation. C'est l'architecte Pierre-Louis Faloci qui est chargé de concevoir et de réaliser le nouveau musée d'Art et d'Histoire dans les murs de l'Hôtel Hèbre de Saint-Clément.