Véritable palais d'apparat au XVIIème siècle, le château est moins connu pour sa seconde histoire qui durera près de 130 ans, celle d'un château-prison – première prison pour Femmes de France (1818) puis école de préservation pour jeunes filles (1891-1952).