ierwszy drewniano-ziemny gród w Raciążku został wzniesiony prawdopodobnie w połowie XIII wieku przez biskupów kujawskich na cyplu skarpy, wcinającej się w dolinę Wisły, wysoko górującym ponad okolicą. W 1185 roku wieś Raciąż wraz z kasztelanią słońską została nadana biskupom włocławskim. Samowolna budowa grodu bez zgody księcia Kazimierza łęczycko-kujawskiego doprowadziła do najazdu i zniszczenia obiektu w 1259 roku. Biskup Wolmir odwołał się do papieża Urbana IV i uzyskał w 1262 roku bullę potwierdzającą jego prawa do Raciążka i zezwolenie na odbudowę. Gród istniał do lipca 1330 roku, kiedy to został zdobyty i częściowo spalony przez Krzyżaków.
Około 1336 roku biskup włocławski Maciej z Gołańczy rozpoczął budowę murowanego zamku w miejscu zniszczonego grodu, wykorzystując naturalne
fot. ZeroJeden, IV 2005
walory obronne miejsca, takie jak strome zbocza z trzech stron oraz sucha fosa od strony miasteczka. W pierwszej fazie wzniesiono ceglany dom mieszkalny, zwany ""kamienicą wielką"", na planie prostokąta o wymiarach 12x25 m. Budynek posiadał prawdopodobnie trzy kondygnacje i był przykryty wysokim dwuspadowym dachem.
Kolejny biskup, Zbylut z Gołańczy, rozbudował ""kamienicę"" o 3,5 m w kierunku zachodnim, powiększając dom zamkowy. Pod koniec XV wieku przystąpiono do wznoszenia murów obwodowych, otaczających zamkowe wzgórze.
W okresie poprzedzającym wielką wojnę z zakonem krzyżackim zamek był kilkukrotnie wykorzystywany do rokowań z Wielkimi Mistrzami. Przebywała tu Jadwiga i Władysław Jagiełło, prowadzący rozmowy z Krzyżakami o zwrot ziem bobrzymskiej i dobrzyńskiej.
W 1531 roku biskupem włocławskim został Jan Karnkowski. Za jego czasów powstała murowana ceglana wieża, usytuowana na południowej krawędzi wzgórza zamkowego. Wzniesiona na planie kwadratu o boku 6,8 m i wysokości około 10 m posiadała trzy kondygnacje i
Ruiny zamku na widokówce z 1920 roku
była zwieńczona czterospadowym dachem namiotowym.
Największe zmiany w gotyckim zamku wprowadził biskup Hieronim Rozdrażewski po objęciu urzędu w 1581 roku. Przebudowano wnętrza ""kamienicy wielkiej"", zamknięto murem zamkowy dziedziniec, zbudowano długi trapezoidalny dom południowy, mieszczący kuchnię i piekarnię, oraz budynek szachulcowy przy murze północnym, przeznaczony na siedzibę starosty. Zbudowano również murowaną wieżę bramną na zachodnim przesmyku wzgórza zamkowego, nie wkomponowaną w obwód murów, z przelotem bramnym w dolnej kondygnacji i izbą na piętrze. Od zachodu wzgórze zamkowe poprzedzał mały przygródek, otoczony parkanem z drewnianą zabudową gospodarczą, oddzielony przekopem z bramą i opuszczanym mostem. W latach 1582-1600 Hieronim Rozdrażewski rozbudował zamek oraz przekształcił wnętrza tak, że powstała późnorenesansowa obronna rezydencja.
W drugiej połowie XVII wieku, zamek zaczął popadać w ruinę z powodu braku remontów. W 1706 roku biskup Felicjan Szaniawski wzniósł na północnym
Gabriel Milczewski, Raciążek, ruiny zamku, zdjęcie z okresu międzywojennego
skraju skarpy budynek szachulcowy, zwany ""pałacem pańskim"". W początkach XVIII wieku Felicjan K. Szaniawski wzniósł drewniany budynek poza terenem zamkowym. Następnie biskup Krzysztof Antoni Szembek dokonał rozbiórki gotyckiego zamku i przystąpił do budowy barokowej rezydencji, wykorzystując pozostawione mury ""kamienicy wielkiej"". Prace kontynuował jego następca, biskup Walenty Czapski. W 1720 roku biskup Krzysztof Antoni Szembek wykorzystał zniszczone mury głównego budynku zamkowego do wzniesienia barokowego pałacu, do czego zatrudnił architekta Jana B. Cocchiego.
Po rozbiorach, w 1804 roku, zamek został przeznaczony do rozbiórki przez władze pruskie. Zabudowania zostały zrujnowane przez rozbiórkę na materiał budowlany.
W latach 70-tych XX wieku zapoczątkowano prace archeologiczne i konserwatorskie. W ich rezultacie wyeksponowano ukryte wcześniej pod ziemią partie murów, zaznaczono przebieg murów obwodowych i nadbudowano wieżę biskupa Karnkowskiego. Pierwsze badania przeprowadzono tu w latach 1978-1985, po których zamek zabezpieczono jako trwałą ruinę. Obecnie zamek
Raciążek i szczątki tamecznego zamku, drzeworyt Edwarda Gorazdowskiego według rysunku Henryka Filipowicza, Tygodnik Illustrowany 1869
Włącz 3D
erwszy drewniano-ziemny gród 
