La storia di palazzo Ruspoli inizia tra il IX ed il X secolo d.C., quando nell’attuale piazza Umberto I sorge il nucleo originario del castello medioevale fortificato, appartenente probabilmente ai Conti di Tuscolo.
La struttura presentava un bastione centrale e tre torri: le due laterali (di cui una soltanto resta ancora in loco) e quella detta saracena, alta circa 40 m, che tuttora la sovrasta.
Tra le altre famiglie nobili che si sono avvicendate al potere si hanno i Frangipane, i Braschi, gli Annibaldi, i Colonna, i Cenci, i Rospigliosi, gli Orsini e da ultimi i Ruspoli, da cui il nome del Palazzo, i quali nel 1993 hanno ceduto la struttura al signor Mario Garofalo.
Tra le sale utilizzate per esposizioni, concerti e manifestazioni di vario genere vi sono la Sala delle Armi, la sala del Pattinaggio e le antiche scuderie del palazzo.
Di notevole pregio le opere del pittore Liborio Coccetti, autore delle tempere eseguite all’interno nel 1784, e la scalinata di accesso al palazzo su piazza Umberto I attribuita all’architetto Valadier.