Risale al IX secolo e fu fatto costruire dai signori "De Sompnino", situato sul colle Sant’Angelo, ricoprì la funzione di fortificazione insieme alle mura perimetrali e alla torre di forma cilindrica. L'edificio conta tre piani. Nello specifico al primo piano c'erano i forni per il pane e le cisterne, che servivano ad assicurare la sopravvivenza in caso di assedio; al secondo piano c'erano le camere ed altre stanze affrescate, tra cui quella del cardinale Giacomo Antonelli. Di fronte al castello vi erano i locali delle prigioni, attigue alle Scale di corte. La struttura originaria è andata in gran parte distrutta, così come la merlatura della torre. Il Castello è collegato a due porte del paese, l’ingresso principale era rivolto verso l'odierna Piazza Garibaldi (la "Portella"), procedendo verso la chiesa di Sant’Angelo ancora oggi si possono osservare gli “anconi” di pietra che testimoniano la posizione della porta di accesso. Tra il XIII ed il XV secolo il paese si espande, completando la costruzione delle mura di cinta intervallate dalle torrette di avvistamento e difesa ancora oggi presenti. Nel 1850 il palazzo passa di proprietà dai principi Colonna ai conti Antonelli, fino al 1916 quando fu acquistato dai fratelli Talani.