Her boede den mægtige kardinal Camillo Borghese indtil han i 1605 blev pave Paul V.

Der er desværre ikke adgang til palazzo'et, som for øvrigt heller ikke har så meget at byde på mere, efter at den enorme malerisamling er blevet købt af den italienske stat og flyttet til Villa Borghese.

Camillo Borghese engagerede Flaminio Ponzio til at udbygge palazzo'et og give det mere pragt og tilbygge en fløj med udsigt over Piazza Borghese og en indvendig gård med søjlegang, så bygningen kunne blive en mere passende bolig for pavefamilien.