amek w Kowalu, znany jako miejsce urodzenia Kazimierza Wielkiego, po raz pierwszy wzmiankowany był na początku XIV wieku. W 1327 roku uległ zniszczeniu w wyniku najazdu krzyżackiego. Zamek został następnie odbudowany i prawdopodobnie wzmocniony za panowania Kazimierza Wielkiego.
Zamek w Kowalu zaliczał się do niewielkich obiektów o raczej skromnych walorach obronnych. Zajmował teren o wymiarach 35x45m a cała jego zabudowa była drewniana. Od północy chroniły go bagna a od strony miasta oddzielał go jedynie parkan. Mimo to w latach 1414-30 aż siedmiokrotnie gościł króla Władysław Jagiełłę. Będący własnością królewską Kowal był zarządzany przez starostów brzeskich a w późniejszym okresie stał się siedzibą samodzielnego starostwa grodowego.
W 1421 roku na zamku przebywał Władysław Jagiełło. W latach 1593-1615 z inicjatywy ówczesnego starosty miała zapewne miejsce przebudowa będąca wynikiem pożaru który strawił całą zabudowę. Wzniesiono kilka nowych drewnianych parterowych budynków z których najbardziej okazały mieścił kancelarię grodzką mieszkanie podstarościego oraz izbę czeladną. W pozostałych mieściły się pomieszczenia gospodarcze kuchnia gorzelnia stajnie. W tym okresie rozpoczęto także budowę murowanej „kamienicy” zakończonej dopiero przez następnego starostę.
W 1656
Tablica upamiętniająca Kazimierza Wielkiego, fot. JAPCOK, VI 2003
roku, podczas potopu szwedzkiego, zamek został zniszczony przez wojska szwedzkie. Po odbudowie służył jako siedziba starosty. Zamkowe zabudowania funkcjonowały do końca XVIII wieku a zamkowa kaplica nawet dłużej.
Zamek w Kowalu mimo że potocznie nazywany zamkiem posiadał niewielkie walory obronne i raczej należałoby w jego przypadku mówić o siedzibie starostwa.
Ostatni starosta kowalski, Michał Sokołowski, pod koniec XVIII wieku nakazał rozbiórkę zdewastowanych budynków, a teren zamkowy podzielono na działki i sprzedano pod zabudowę miejską. W 1797 roku ruiny rozebrano.
Badania archeologiczne wykluczyły że powstał w miejscu wcześniejszego kasztelańskiego grodu zniszczonego przez wojska krzyżacko-mazowieckie w roku 1327.
Obecnie przy ulicy Zamkowej 2 w miejscu gdzie znajdował się zamek stoi budynek mieszkalny. Od strony podwórza wsparty jest sporych rozmiarów przyporą która być może jest jedyną pozostałością po murowanej zamkowej „kamienicy”.
W mieście znajduje się ulica Zamkowa z remizą strażacką, na której wmurowano tablicę upamiętniającą miejsce urodzenia Kazimierza Wielkiego. Niektóre źródła wskazują, że zamek znajdował się na wyspie na Jeziorze Rakutowskim.