e středověku byl Szydłowiec rodovým sídlem rodu Odrowążů, kteří v patnáctém století převzali příjmení podle svého sídla - Szydłowiecy. Ve čtrnáctém století postavili mezi mokřady zděný zámek na malé vyvýšenině, která byla mírně zvýšena. První zmínka však pochází až z roku 1427, kdy jej vlastnili Jakub a Sławek Odrowąż. Z první budovy byly objeveny stopy zdí na vnější straně severního křídla. Ve druhé polovině patnáctého století byl zámek rozšířen, na místě starší budovy byla postavena čtyřpatrová obytná věž a na západním konci ostrova byla postavena čtyřboká vrátnice. Obě budovy se pravděpodobně nacházely uvnitř obvodových zdí.
V letech 1515-1526 přestavěl velký korunní pokladník Mikołaj Szydłowiecki své sídlo na nádherný renesanční zámek. Konstrukce byla trojkřídlá. Severní křídlo pohltilo zbytky dřívější obytné věže, západní křídlo spojovalo čtyřbokou věž se severním křídlem. Východní křídlo se třemi podlažími mělo reprezentativní charakter. Jižní strana nádvoří byla uzavřena obvodovou zdí.
V roce 1550 se Mikołaj Myszkowski stal na krátkou dobu majitelem části szydłovského panství a hradu a od konce téhož roku patřil hrad téměř tři století rodině Radziwiłłů.
fot. JAPCOK, IV 2002
Na začátku sedmnáctého století probíhaly práce na interiérovém designu. Během konzervátorských prací byly na pilíři nesoucím klenbu velké kuchyně objeveny podpisy kameníků Jana Poniatowského a Sebastiana Młoského a datum 1602.
Albrecht Radziwiłł rozšířil rezidenci v letech 1619-1629. V té době byla na vnější ose východního křídla vybudována lodžie, v jejích rozích byly přistavěny přístavby s malými terasami a ve dvoře na křižovatce východního a severního křídla bylo zřízeno schodiště. Při této expanzi byla zvýšena věž s bránou a do ní byla umístěna kaple. Zámek získal bohaté vybavení, kazetové stropy, polychromie a vlysy.
Radziwiłłové prodali zámek Anně Sapieżyně v roce 1821. Později se rezidence stala majetkem státu. Ve druhé polovině devatenáctého století hrad chátral. Po těchto a následných destrukcích z druhé světové války byl zámek v letech 1951-1952 zabezpečen a po roce 1965 byl kompletně zrekonstruován. V současné době zde sídlí Muzeum lidových hudebních
Widok zamku na zdjęciu lotniczym, fot. ZeroJeden, VI 2019