L’edificio, di impianto cinquecentesco, è sorto su preesistenti costruzioni medievali. Il maestoso ingresso è adornato dall’iscrizione “Aeternam inquire domum”. All’interno sono conservati importanti arredi e pregevoli dipinti. Nel Salotto rosso sono conservate le “casse Trinci”, una coppia di casse nuziali ricche di intagli e dorature che la tradizione familiare vuole siano state portate da una Trinci andata in sposa ad un Elmi. In una monumentale libreria del Seicento sono conservati importanti manoscritti. Un affresco staccato dall’ala più antica del palazzo e attribuito a Pierantonio Mezzastris, raffigura la Madonna con il Bambino e ricorda l’antica e profonda devozione della famiglia. Tra i ritratti il più significativo per la storia del casato è quello di Ersilia Foschi che, dopo la morte del figlio e del marito, si ritirò prima a vita eremitica in un piccolo tugurio e poi, entrata nel 1746 nell’ordine di S. Francesco da Paola, fondò nell’attuale Porto San Giorgio un nuovo monastero delle paolane.