andomierz, według Jana Długosza, był w początkach XI wieku drugą metropolią słowiańską i jedną z trzech stolic państwa polskiego. Już w X wieku istniał tutaj gród, co świadczy o jego strategicznym znaczeniu w początkach państwa polskiego.
Pierwsze umocnienia na Wzgórzu Zamkowym datowane są na XII wiek. Książęcy gród otoczony był drewniano-ziemnym wałem oraz systemem zasieków ze skośnie wbitych pali. Od strony wysoczyzny przekopano fosę. Prawdopodobne
Zamek na pocztówce z 1919 roku
jest, że zabudowa grodu była częściowo murowana. Mieściła się tu kasztelania, a od przełomu XII i XIII wieku stolica księstwa dzielnicowego. Po pożarze spowodowanym najazdem litewskim w 1349 r. zamek zyskuje zachowane do dziś rozplanowanie. Od 1362 r. z inicjatywy króla Kazimierza Wielkiego wznoszone są mury obronne.
W XIV wieku Kazimierz Wielki wykorzystał teren grodu pod budowę murowanego zamku, który prawdopodobnie został połączony z murami miejskimi. Rozplanowanie kazimierzowskiego zamku nie jest dokładnie znane. Najwcześniejsze informacje pochodzą z inwentarzaz 1510 roku. W budynku bramnym mieściła się zbrojownia, głównym budynkiem był ""dom stojący naprzeciw Wisły"", istniał także podpiwniczony dom kamienny z kaplicą i izbą podstarościego. Zamek posiadał podzamcze z kuchnią i browarem. Z reliktów zamku Kazimierza Wielkiego można zaliczyć ośmioboczną wieżę, której fundamenty znajdują się w pobliżu obecnego wjazdu. Mierzące około 1700 metrów długości obronne mury miejskie
Zdjęcie lotnicze, fot. ZeroJeden, IV 2021
zbudowane zostały w 2. poł. XIV stulecia za panowania Kazimierza Wielkiego.
Od 1513 roku rozpoczęła się stopniowa, długotrwała rozbudowa zamku, inicjowana przez Zygmunta Starego i kontynuowana przez jego następców. W tym i w kolejnym roku rozebrano zniszczone budynki i zaczęto wznosić kolejne skrzydła. Skrzydło południowe powstało z wykorzystaniem murów ""domu stojącego naprzeciw Wisły"", a od wschodu powstało jednotraktowe skrzydło o dwóch kondygnacjach. Powstała wtedy także pierwsza część skrzydła zachodniego, które ukończono w latach 1564-1565. Podczas tego drugiego etapu zamknięto prostokątny dziedziniec murem od północy z narożną basztą.
Podczas wojen szwedzkich zamek został zdobyty przez Szwedów, a w 1656 roku, wycofując się, wysadzili go w powietrze. Zniszczeniu uległy skrzydła południowe i wschodnie, mniej zniszczone zachodnie zostało w latach 1680-1688 odbudowane z inicjatywy Jana III Sobieskiego. Szczątkowo zachowane skrzydło południowe po remoncie wykorzystywano jako stajnie.
Następne zniszczenia dotknęły budowlę w czasach
Panorama miasta na przełomie XVI i XVII wieku, miedzioryt z dzieła Georga Brauna i Fransa Hogenberga 'Civitates orbis terrarum'
konfederacji barskiej. Po trzecim rozbiorze Polski Sandomierz znalazł się w granicach Austrii, której władze wyremontowały zamek na cele sądowe i więzienne. W końcu XIX wieku powstały nowe budynki wzdłuż południowej i wschodniej krawędzi wzgórza, a od północy dostawiono budynek dla personelu. Około roku 1894 do głównego korpusu dobudowano półkolisty budynek dla personelu tzw. rogal.
Obecnie zamek jest wyremontowany i mieści się tu muzeum. W trakcie badań archeologicznych, prowadzonych w początku lat 80-tych odkryto relikty starszej zabudowy, oraz rozpoznano część północną i jej stan sprzed zniszczeń w połowie XVII wieku.