ravděpodobně na konci 16. století nechal kníže Janusz Ostrogski, kastelán krakovský, postavit hrad mimo varšavské hradby, ale v její těsné blízkosti, na vysokém srázu nad Vislou.
Hrad byl zničen při švédské potopě a v roce 1680 koupil panství Ostrogských Jan Gliński, velkovicekancléř koruny. V roce 1681 začal na místě bývalého hradu stavět od nul novou rozsáhlou rezidenci a najal jednoho z největších architektů té doby, Tylmana z Gameren. Práce však byly
fot. ZeroJeden, IV 2005
zastaveny, pravděpodobně po smrti zakladatele. Pouze fragment opěrných zdí byl vztyčen ze strany dnešní ulice Tamki a ze strany Visly. Na zdech byla pravděpodobně postavena malá dvoupatrová budova sloužící hospodářským účelům. Na počátku osmnáctého století přešel nedokončený palácový komplex do rukou rodiny Zamoyských. Nepokračovali ve stavbě, ale přeměnili stávající budovu na skutečný palác podle návrhu architekta Józefa Fontany. Později se majitelé několikrát změnili.
V roce 1820 byl zámek vydražen a koupil jej Michał Gajewski, který budovu zvýšil o jedno patro a přistavěl hospodářské budovy, aby sem přemístil policejní ředitelství. V roce 1858 byla na hradě umístěna konzervatoř Varšavského hudebního institutu.
Po zničení druhé světové války byl zámek v letech 1949-1953 přestavěn podle stavu z konce 17. století a v interiérech sídlila Společnost Fryderyka Chopina.
Ryszard Rogiński ve své knize cituje legendu týkající se hradu Ostrogski. V suterénu hradu, jak kolují
fot. ZeroJeden, IV 2005
zvěsti, je zakopán obrovský poklad. Chudý ševcovský učeň ze Starého Města se rozhodl, že si ji pořídí. Když o půlnoci odešel do podzemí, dlouho se toulal klikatými kobkami, sestupoval níž a níž, až narazil na jezero, na kterém plavala zlatá kachna. Promluvila k němu lidským hlasem a ukázala na místo, kde leží 100 zlatých dukátů. Dovolila si je však vzít pod podmínkou, že do příští půlnoci utratí každý haléř. Splní-li tuto podmínku a podá jí zprávu, obdrží veliký poklad. Švec nakoupil mnoho věcí, hýřil se se svými druhy a po 24 hodinách se vrátil v šestém kočáře pro vytoužené bohatství. Ukázalo se však, že mu v kapse zbyly dva velké haléře, kouzlo bylo zlomeno, jezero se zlatou kachnou zmizelo a švec se musel vrátit ke kopytu. A tak poklad stále čeká na svého přemožitele.