Nella piazzetta principale del Centro Storico si può ammirare il portico detto dello Scacco, perché ingresso alla casa del Vescovo Giacomo Pellegrino e dello stesso pittore. La struttura presenta un'arcata a sesto acuto sui lati brevi e a tutto sesto in facciata, entrambi poggiati su imposte a mensola posizionate ad altezze differenti, si ritiene che l'arcata possa essere datata al 1400.
Sull'abitazione del pittore era la casa del vescovo, residenza in cui G.P. mori nel 1537. In asse con l'arcata in facciata è una lunga galleria che in origine dava accesso con una scalinata all'abitazione del vescovo. Sul retro della residenza vescovile dov'era una graziosa finestra bifora recentemente rimossa dagli attuali proprietari, sono ancora visibili, a 0,50 m da terra, le iniziali dello stesso vescovo scolpite sulla pietra e dipinte di rosso.
Di fronte è la residenza estiva del vescovi di Fondi prima e di Gaeta poi che durante la Sacra Vitatio fatta da G.B. Comparini nel 1599 fu utilizzata, per un lungo periodo, come sede privata del vescovo, Tale struttura presenta tre livelli di cui il primo corrisponde al piano stradale e non conserva più gli clementi caratteristici
presenti sul resto della facciata, si tratta di finestre e balconi incorniciati da stucchi modanati e sormontati da timpani e lunette aggettanti; sul lato sud è ancora presente un piccolo terrazzo che affaccia sul mare.