Když v roce 1722 kupoval Kilián Ignác Dientzenhofer příměstské pozemky na Smíchově, nebyly v okolí žádné významnější stavby, část pozemku sloužila jako zahrada, další jako pole. Začínající architekt s nevelkým výdělkem tak výhodně investoval peníze zděděné po otci, a nelze vyloučit, že zde hodlal vybudovat letohrádek, který by následně výhodně prodal nějakému šlechtici. To ovšem jsou jen dohady. Ke stavbě došlo až krátce před rokem 1729, což neklamně dokládá tímto datem určená freska nejvýznamnějšího českého freskaře, Václava Vavřince Reinera. Kilián Ignác Dientzenhofer nakonec vilu neprodal, i když v ní nebydlel; do šlechtického majetku se dostala až po Dientzenhoferově smrti, kdy ji roku 1753 koupil Franz Leopold hrabě Buquoy de Longueval, podle něhož je také někdy označována jako Buquoyka. Tento šlechtic stavbu nově zařídil a vybavil přepychovým inventářem, protože sloužila k letnímu pobytu rodiny. Teprve koncem 18. století přestala být Buquoyi využívána a byla pronajata jako restaurace (v přízemí), když v patře nadále zůstalo obytné apartmá pro hosty hraběcí rodiny. V roce 1802 však byla usedlost prodána, v dalších letech se majitelé často střídali, svého času zde byla i manufaktura na cikorku, než v roce 1828 usedlost koupili bratři Moses a Juda Porgesové, jejichž rodina byla posléze, za zásluhy o hospodářský vzestup Smíchova, oceněna predikátem z Portheimu. Za nich byl letohrádek rozšířen o boční křídla, z nichž nakonec zůstalo jediné (po 1884), takže stavba získala nezvyklou asymetrickou dispozici. Dientzenhoferův letohrádek byl pozoruhodnou stavbou svým moderním půdorysným řešením, ve zdrobněné formě navázal na francouzský typ vilové architektury, tzv. maison de plaisance. Zahradní průčelí letohrádku prozrazuje rozvržením hmot, kompozicí, ale i detaily, použitými ve vyrovnaném poměru, velkého génia.