Le musée résulte de la fusion, en 1975, du musée militaire créé en 1938 par Hugo de Fischner, rue Royalet , et du musée Napoléonien créé en 1963 par Maître Prost. Avec ses 300 pièces les collections du musée évoquent l'uniforme, l'arment, et l'équipement militaire. Par volonté de proposer une offre culturelle toujours plus importante, la bibliothèque est devenue une médiathèque en septembre 2019. Ce bâtiment abrite également un espace d'exposition et les réserves du musée d'art et d'histoire militaires.