amek w Kowalu, znany jako miejsce urodzenia Kazimierza Wielkiego, po raz pierwszy wzmiankowany był na początku XIV wieku. W 1327 roku uległ zniszczeniu w wyniku najazdu krzyżackiego. Zamek został następnie odbudowany i prawdopodobnie wzmocniony za panowania Kazimierza Wielkiego.
Zamek w Kowalu zaliczał się do niewielkich obiektów o raczej skromnych walorach obronnych. Zajmował teren o wymiarach 35x45m a cała jego zabudowa była drewniana. Od północy chroniły go bagna a od strony miasta
Tablica upamiętniająca Kazimierza Wielkiego, fot. JAPCOK, VI 2003
oddzielał go jedynie parkan. Mimo to w latach 1414-30 aż siedmiokrotnie gościł króla Władysław Jagiełłę. Będący własnością królewską Kowal był zarządzany przez starostów brzeskich a w późniejszym okresie stał się siedzibą samodzielnego starostwa grodowego.
W 1421 roku na zamku przebywał Władysław Jagiełło. W latach 1593-1615 z inicjatywy ówczesnego starosty miała zapewne miejsce przebudowa będąca wynikiem pożaru który strawił całą zabudowę. Wzniesiono kilka nowych drewnianych parterowych budynków z których najbardziej okazały mieścił kancelarię grodzką mieszkanie podstarościego oraz izbę czeladną. W pozostałych mieściły się pomieszczenia gospodarcze kuchnia gorzelnia stajnie. W tym okresie rozpoczęto także budowę murowanej „kamienicy” zakończonej dopiero przez następnego starostę.
W 1656 roku, podczas potopu szwedzkiego, zamek został zniszczony przez wojska szwedzkie. Po odbudowie służył jako siedziba starosty. Zamkowe zabudowania funkcjonowały do końca XVIII wieku a zamkowa kaplica nawet dłużej.
Zamek w Kowalu mimo że potocznie nazywany zamkiem posiadał niewielkie walory obronne i raczej należałoby w jego przypadku mówić o siedzibie starostwa.
Ostatni starosta kowalski, Michał Sokołowski, pod koniec XVIII wieku nakazał rozbiórkę zdewastowanych budynków, a teren zamkowy podzielono na działki i sprzedano pod zabudowę miejską. W 1797 roku ruiny rozebrano.
Badania archeologiczne wykluczyły że powstał w miejscu wcześniejszego kasztelańskiego grodu zniszczonego przez wojska krzyżacko-mazowieckie w roku 1327.
Obecnie
Zdjęcie lotnicze, fot. ZeroJeden, X 2018
przy ulicy Zamkowej 2 w miejscu gdzie znajdował się zamek stoi budynek mieszkalny. Od strony podwórza wsparty jest sporych rozmiarów przyporą która być może jest jedyną pozostałością po murowanej zamkowej „kamienicy”.
W mieście znajduje się ulica Zamkowa z remizą strażacką, na której wmurowano tablicę upamiętniającą miejsce urodzenia Kazimierza Wielkiego. Niektóre źródła wskazują, że zamek znajdował się na wyspie na Jeziorze Rakutowskim.