oczątki osadnictwa na terenie obecnego parku zamkowego w Białej Podlaskiej sięgają X-XII wieku. Pod koniec XIV wieku istniała tu osada targowa w dolinie rzeki Krzny, będąca częścią Wielkiego Księstwa Litewskiego. Pierwszym znanym właścicielem Białej był Mikołaj Nasuta, za którego czasów istniał drewniany gród otoczony palisadą, w okolicach północno-zachodniego narożnika obecnego dziedzińca. Po śmierci Jana Nasuty, osada stała się własnością Zebrzezińskich, a w 1508 roku przeszła w posiadanie Jerzego Ilinicza. W 1522 roku Biała otrzymała prawa miejskie. Po śmierci Jerzego, jego córka Hanna Kiszczyna rozpoczęła budowę dworu w miejscu obecnego amfiteatru w 1536 roku.
Pod koniec XVI wieku Biała trafiła w ręce Radziwiłłów, którzy związani byli z miastem
Zamek w Białej Podlaskiej na litografii J.Ceglińskiego z drugiej połowy XIX wieku
aż do rozbiorów Rzeczpospolitej. Okres ten przyniósł rozwój miasta, zwanego odtąd Białą Książęcą lub Białą Radziwiłłowską. W drugiej połowie XVII wieku Radziwiłłowie nadali miastu prawa magdeburskie i herb.
18 kwietnia 1622 roku Aleksander Ludwik Radziwiłł zawarł umowę na budowę zamku z Pawłem Murzynem, muratorem z Lublina. Budowa, kontynuowana przez kolejnych Radziwiłłów, trwała do początków XVIII wieku. Obiekt powstał na planie pięcioramiennej gwiazdy z bastionami, otoczony fosą i wałem ziemnym. Zamek graniczył od zachodu z zabudową miejską, a od południa z doliną rzeki Krzny.
W południowej części założenia wzniesiono trzykondygnacyjny pałac na planie o wymiarach 41 x 31 metrów z czterema pięciobocznymi wieżyczkami w narożach i loggią od frontu. Od zachodu i północy rozciągał się jeden z największych dziedzińców pałacowych w Rzeczpospolitej, zamknięty barokowymi oficynami. Główny wjazd prowadził od północy przez sześciokondygnacyjną wieżę pełniącą
fot. ZeroJeden, X 2005
funkcje obserwacyjne, strażnicze i więzienne. Wieżę z bramą łączyła parterowa, murowana szyja z kolebkowym sklepieniem i dwuspadowym dachem. Brama poprzedzona była zwodzonym mostem nad fosą. Druga brama, zwana ""Koszarską"", znajdowała się w zachodniej części i prowadziła do koszar.
W latach 1746-1760 Hieronim Radziwiłł rozpoczął prace rozbudowy pałacu, które ukończył Michał Kazimierz Radziwiłł ""Rybeńko"" w latach 1760-1762. Podwyższono loggię i przebudowano poddasze, adaptując je na teatr.
Koniec XVIII wieku i rozbiory Rzeczpospolitej zapoczątkowały upadek Białej. Po śmierci ostatniego spadkobiercy, Dominika Radziwiłła w 1813 roku, nastąpiła dewastacja rezydencji. W 1883 roku rozebrano pałac będący w ruinie, a dziedziniec zamkowy przekształcono w park.
Obecnie zachowane pozostałości zamku Radziwiłłów w Białej Podlaskiej obejmują fortyfikacje ziemne, bramę z szyją bramną, wieżę, trzy oficyny (zachodnią i dwie północne) oraz późnorenesansową kaplicę z około 1620 roku, obok której stoi barokowa wieżyczka z kopułą. W zachowanych budynkach zamkowych mieści się Muzeum Południowego Podlasia.