branný komplex existoval v Bílsku pravděpodobně již od 13. století. Dřevěná tvrz byla postavena na okraji kopce na řece Białé, od zbytku kopce byla odříznuta širokým suchým příkopem. Krátce po roce 1316 bylo město i s tvrzí obehnáno obrannou zdí a na křižovatce tvrze s městem byla do hradeb umístěna brána, která byla brzy nahrazena silnou věží branou.
Pravděpodobně kolem poloviny čtrnáctého století byla tvrz vypálena, pravděpodobně po této události začal těšínský kníže Przemysław I. Noszak stavět první cihlové prvky. Hrad byl od města oddělen obrannou zdí, která začínala u věže městské brány a končila nově postavenou hradní věží obrannou věží. Knížecí sídlo bylo postaveno v severovýchodním nároží a stejně jako věž mírně vystupovalo za obvodové hradby. Rezidence byla lichoběžníková budova, s interiéry bez členění na menší části. Budova měla pravděpodobně tři patra, z nichž spodní dvě byla zaklenuta klenbami a horní plnilo pouze obrannou funkci.
V patnáctém století, v důsledku neklidu husitských válek a posunu hranic mezi Čechami a Polskem, byl bílský hrad rozšířen a posílen. Od města byla oddělena příkopem a za ním novou řadou hradeb, takže předchozí věž městské brány již nemohla plnit svou předchozí funkci a průchod byl zazděn. Nový vstup do věže byl proražen ze
Zdjęcie z lotu ptaka, fot. ZeroJeden, V 2020
strany nádvoří. Vstup do města byl posunut za novou linii obranné zdi. V nároží hradu z městské strany, pravděpodobně na místě bývalé branky, byla postavena dvoupatrová obytná a obranná budova, vedle níž se nacházela vstupní brána a padací most přes příkop.
Ve druhé polovině patnáctého století došlo také k proměně interiérů hlavní zámecké budovy, které byly rozděleny na menší místnosti. V roce 1489 těšínský vévoda Kazimír II. využil městských pastvin a východně od své rezidence vytvořil zámecké zahrady.
V šestnáctém století byl hrad z východu opevněn nízkou zdí s nízkými věžemi a stavební práce prováděné několikrát během tohoto století se omezily především na přizpůsobení komplexu pro plnění obytných funkcí. U obvodové zdi byly postaveny další tři budovy.
První inventář zámku pochází z roku 1571, který byl zapsán v souvislosti s prodejem majetku zadlužených těšínských vévodů. Zámek se stal majetkem Karla z Promnice, poté Adama Schaffgotsche. Za dobu jejich vlády se toho
Zdjęcie z lotu ptaka, fot. ZeroJeden, V 2020
na hradě mnoho nezměnilo. V roce 1592 pak panství koupil uherský velmož Jan Sunnegh, jehož rodina zámek přestavěla v renesančním slohu. Modernizované jižní křídlo pak převzalo obytnou funkci a celek byl vyzdoben polychromií, čímž se ušetřily kamenické detaily. V první polovině 17. století pokračovaly stavební práce, během nichž byly budovy kolem dvora uzavřeny do čtyř plných křídel a dříve rozdílné budovy byly částečně sjednoceny.
V roce 1646 byl hrad dobyt a vypálen švédským vojskem. Další škody utrpěla při požárech města v letech 1659 a 1664. Zámek byl přestavěn a nádvoří bylo při rekonstrukci obklopeno ambity. Po smrti posledního ze Sunneghů v roce 1728 hrad často měnil majitele.
V roce 1752 jej koupil Aleksander Sułkowski, jehož rodina jej vlastnila až do konce druhé světové války. Hrad, částečně poškozený požárem v roce 1753, byl pravděpodobně zrekonstruován a v roce 1787 zahájil Franciszek Sułkowski rozsáhlé stavební práce. V roce 1808 zámek opět vyhořel a při přestavbě bylo jižní a západní
Zdjęcie z lotu ptaka, fot. ZeroJeden, V 2020
křídlo zvýšeno na tři patra. Do roku 1830 byla v jihovýchodním nároží postavena také zámecká kaple.
Při dalším požáru v roce 1836 byla zničena horní patra zámku a většina okolních budov. Při rekonstrukci získal areál svou současnou podobu - bylo odstraněno městské opevnění, prostor byl srovnán se zemí. V letech 1854-1864 Ludwik Sułkowski zámek přestavěl do podoby, která se zachovala dodnes. V roce 1934 byla zámecká zahrada zlikvidována a její areál byl zastavěn.
Během druhé světové války hrad příliš neutrpěl. Po válce byl převzat státem a upraven tak, aby sloužil jako vzdělávací a kulturní instituce. Nějakou dobu zde sídlila Střední umělecká škola, nyní je sídlem muzea v Bílsku-Bělé.