Jan von Czarnków erwähnt das Gebäude Żarnowiec nicht in der Liste der Burgen, die von Kasimir dem Großen errichtet wurden. Jan Długosz hingegen schreibt: ""Die bereits erwähnte Königin von Polen, Adelaide, die wie ein Verbannter in der Burg in Żarnowiec bewacht wurde, die König Kasimir aus sehr schönen, gebrannten Ziegeln erbaute."" Die
Burg wurde 1524 während des großen Brandes der Stadt zerstört. Zu dieser Zeit gehörte es dem Starost von Żarnowiec, Andrzej Gnoiński. In der Mitte des 17. Jahrhunderts wurden die Burg und die Stadt durch die schwedische Invasion zerstört.
Die Relikte des Komplexes befinden sich am linken Ufer des Flusses Pilica, nordwestlich des Marktplatzes in Żarnowiec. Heute sind die Umrisse des Burggrabens noch teilweise sichtbar.