Nella parte più interna del monte sorge il Castello di origine longobarda (VII secolo) che domina tutta la parte bassa. L'intero complesso sarebbe stato costruito sui resti di una fortezza o di un tempio romano. La sua pianta è irregolare, munita di un cortile interno, più arcaico e di forma quadrangolare, e uno più esterno, irregolare, dovuto all'ampliamento fatto eseguire da Onorato II Catani fortificandone anche la cinta esterna
con l'innalzamento di altre torri. I diversi ampliamenti sono ben visibili sulla facciata esterna realizzata interamente in pietra locale, sulla quale è anche presente un piccolo balcone forato utilizzato, in caso di attacchi, per rovesciare olio bollente sui nemici. Il castello controlla la piana di Fondi e di Monte San Biagio, eccellente luogo di vedetta per i pericoli che giungevano dal mare e dalle terre limitrofe. Sul lato sud-ovest, nella parte più arcaica del complesso, sorge il grande torrione a pianta triangolare, uno dei pochi esempi esistenti in Europa. In prossimità dello stesso castello ed inserite nella originaria cinta muraria, sorgono le porte urbiche, esse erano tre: Porta Castello, realizzata su vicolo castello che da via Roma, mediante un'asse verticale, permetteva di giungere al castello, Porta San Rocco, visibile accanto al palazzo comunale, era in origine Porta Sant'Antonio Abate, la cui chiesa era posta proprio al di sopra della porta urbica, Porta San Vito, così chiamata perché rivolta verso il feudo di San Vito. Di queste porte, due delle quali smontate all'avvento del 1900, restano le sole imposte delle arcate originarie.
Le porte urbiche immettevano in un'unica galleria medievale percorribile, il cui tratto meglio conservato e quello visibile tra Piazza Verone e Porta San Vito. Tale galleria, costituita da arcate in successione interamente realizzate con pietre di varie pezzature e con aperture per le guarigioni armate di vedetta, erano dei classici passaggi coperti, rinforzati all'esterno da contrafforti, da cui vari vicoli consentivano, e consentono tuttora, di risalire verso il centro alto per giungere velocemente al castello.