Le château fort de Pierre-Châtel est édifié sur le rocher qui commande le défilé, à l’emplacement stratégique occupé par un oppidum gaulois, puis par une forteresse romaine. En 1383, le comte Amédée VI de Savoie y fonde un monastère de chartreux à l’emplacement de l'une des plus anciennes place-forte de la Maison de Savoie. Durant quatre siècles, les moines vont y vivre leur foi tout en côtoyant la garnison militaire, placée sous les ordres du prieur secondé par un officier civil.

En 1791, sous la pression révolutionnaire, les moines quittent les lieux et les militaires restent pour garder la caserne. Le préfet Ozun songe à en faire un lieu d’enfermement, qui peut « convenir sur tous les rapports à pareille institution : sûreté, salubrité, étendue». De 1801 à 1814, les espaces seront partagés entre le Département de la Guerre et le Ministère de l’Intérieur qui se voit remettre en 1807 par décret impérial « les bâtimens, jardins et dépendances de la ci-devant chartreuse de Pierre-Châtel pour servir de dépôt provisoire ».

Après des mois de procédures et de travaux, les premiers prisonniers arrivent en février 1809. Leur nombre varie entre 30 et 350 prisonniers selon les années : détenus de droit commun, prisonniers d’Etat et condamnés à la déportation. Ces derniers, considérés comme les plus dangereux, constituent la moitié de l’effectif. Ils sont enfermés dans les sous-sols par cellule de 15 à 20 détenus. Les autres se partagent les anciens logements des moines. De nombreux prêtres sont aussi emprisonnés pour différents motifs, notamment les réfractaires au Concordat de 1801.

L’abondant travail de Marcel Juilléron, publié en 1972, décrit un quotidien fait de privations et de punitions. Le commandant assure la garde des détenus et le maintien de l’ordre. Le concierge est le véritable directeur de la maison, aidé par des guichetiers et porte-clefs. Le froid, la faim et le manque de soins entraînent de très nombreux décès. Ce nid d’aigle quasiment imprenable est un piège sans issue pour les prisonniers : une seule évasion collective est relatée, impliquant 14 hommes qui ont patiemment creusé sous le carrelage de leur cellule avec des outils de fortune. Une nuit de mai 1812, ils s’extraient un à un, à l’aplomb du rocher, en s’aidant de cordages de paille. Certains se blessent en tombant et les autres seront repris, sauf un ancien forçat nommé Jaillard.

Par deux fois, en 1814 et en 1815, le nid d'aigle de Pierre-Châtel est attaqué par les Autrichiens qui, faute de pouvoir l'emporter d'assaut, en font le siège, se contentant de pilonner la place avec des canons hissés sur les sommets encadrant le défilé. Démonstration est faite de la principale faiblesse du site de Pierre-Châtel qui peut facilement être bombardé ou surveillé depuis les hauteurs avoisinantes. En témoignent les impacts de boulets de fonte qui ont écorné les murs du portail de l'ancienne chartreuse.  Pour pallier cette grave défaillance, un fort de couverture est érigé au milieu du 19e siècle sur le sommet dominant la chartreuse. Il est baptisé "Fort les Bancs", par allusion au litage horizontal des strates de calcaire du massif qui forment de gigantesques bancs de pierre.

La construction, commencée en 1840, est achevée en 1849 et le fort inauguré en 1850. Sa construction étant antérieure au progrès de l'artillerie rayée, l'ouvrage présente encore un tracé bastionné et terrassé, le rempart étant conçu pour résister uniquement à des boulets métalliques pleins. De ce point de vue, il est caractéristique de la dernière génération de fortifications précédant la généralisation de l'artillerie rayée.

Fort-les-Bancs n'eut jamais à combattre ; il servit de cantonnement et de place d'instruction, comme en témoignent certains décors peints encore visible à l'entrée du fort. Quant aux mâchicoulis qui garnissent son corps de garde, ils sont caractéristiques de cette époque où le "pseudo-médiéval" était très en vogue.

L’édifice, aujourd’hui propriété privée, n’est pas ouvert à la visite.