L'edificazione del castello Caetani iniziò nel 1319 insieme con la ristrutturazione della cinta muraria, della quale se ne possono ancora scorgere alcuni tratti, da Roffredo III Caetani.
L' imponente fortificazione fu simbolo del potere militare ed è composto da due corpi di fabbrica: il mastio alto 33 metri e la rocca, collegati tramite una intercapedine.
La base del mastio, un torrione a forma di parallelepipedo in opera quadrata, comprendeva una cisterna ed è databile agli ultimi anni del XII secolo; esso fu completato dalla famiglia Caetani, probabilmente nel XV secolo con l’addizione di un torrione cilindrico e della merlatura con mensole ad aggetto tipica delle fortezze dei Caetani.
La grandiosa rocca presenta tre bastioni rotondi destinati alla difesa, due dei quali ricostruiti nel secondo dopoguerra.
Un arco, ormai distrutto, impostato da una parte al palazzo e dall’altra al mastio, costituiva la porta della città detta de suso da cui si usciva per andare a Napoli. La porta è chiaramente indicata, insieme al complesso difensivo della città, nella parte inferiore del trittico di Cristoforo Scacco datato 1499, ora conservato nella cappella della croce in San Pietro.
Il Castello di Fondi è un raro esempio di castello costruito in pianura e si può considerare un’ eccezione relativamente al fenomeno dell’incastellamento, diffuso, tra l’XI e il XII sec., in Italia centrale.
Contestualmente ad esso fu eretto il Palazzo, utilizzato come elegante abitazione, collegato al castello con un passaggio detto “passetto”.
Attualmente, la rocca ospita, a piano terra, una sala convegni in cui vengono celebrati i matrimoni civili ed il Museo Civico. La terrazza, punto più elevato di Fondi, è utilizzata per eventi ed offre il suggestivo spettacolo della città abbracciata dai monti Ausoni ed Aurunci.