ierwotnie Braniewo, wraz z drewnianym zamkiem krzyżackim, znajdowało się w innym miejscu, niżej w biegu rzeki Pasłęki. Jednak dwukrotne zniszczenia podczas powstań pruskich w latach 1242 i 1261, skłoniły biskupa Henryka Fleminga do ponownej lokacji miasta w 1284 roku. W południowej części miasta, w obrębie jego murów, rozpoczęto budowę murowanej siedziby biskupów warmińskich.
Zamek, wzniesiony na planie prostokąta, integrował się z systemem obronnym miasta. Od strony miasta wzniesiono mur kurtynowy, a z pozostałych stron znajdowały się trzy skrzydła. Początkowo zamek posiadał jedno skrzydło mieszkalne – południową kurtynę. Wjazd usytuowany był pośrodku wschodniej kurtyny. Wiódł przez wysuniętą przed lico muru wieżę bramną, w której umieszczono zamkową
Widok z lotu ptaka od południa, fot. ZeroJeden, V 2013
kaplicę.
Pod koniec XIII wieku po wschodniej stronie powstał okazały dwukondygnacyjny podpiwniczony budynek, na osi którego umieszczono przejazd. Mieściły się w nim komnaty biskupa oraz refektarz. Pierwotne założenie dostępne przez dawną wieżę bramną przekształcono w podzamcze o charakterze gospodarczym. Powstało dwuczłonowe założenie z dwoma dziedzińcami o wymiarach 55x80m. W latach 1320-1330 zamek został rozbudowany i wzmocniony poprzez wzniesienie trzech narożnych wież od północy i zachodu oraz wykopanie fosy od strony miasta. Wzmocniono ochronę wjazdu poprzez budowę przedbramia chronionego półbasztą. Droga do zamku wiodła przez starorzecze rzeki Pasłęki groblą osłonięta murami. Na jej końcu znajdowała się wieża wartownicza. W południowym skrzydle znajdowały się mieszkania biskupa i zarządcy zamku oraz refektarz, natomiast skrzydła północne i wschodnie miały charakter mieszkalny. W narożniku północno-wschodnim znajdowała się kwadratowa wieża. Zabudowania gospodarcze znajdowały się w zachodniej części
Zamek przed przebudową na szkołę na zdjęciu z 1873 roku
miasta, tam też zlokalizowana była wieża bramna z kaplicą na piętrze, łącząca zamek z przedzamczem.
Zamek w Braniewie był siedzą biskupów warmińskich do 1340 roku. W czasie wojny trzynastoletniej w latach 1454-1466 został spalony, a w końcu wieku odbudowany. Do 1770 roku znajdował się w rękach polskich, wtedy był wielokrotnie przebudowywany. W 1396 podczas zamieszek doszło do ataku mieszczan braniewskich na zamek. Zniszczono mury i baszty od strony miasta. W czasie wojny trzynastoletniej 6 lutego 1454 mieszczanie ponownie zdobyli szturmem biskupi zamek. Został on splądrowany i powtórnie zburzone zostały umocnienia od strony miasta. Zamek obsadziła polska załoga, która obroniła go przed szturmem wojsk zakonnych w kwietniu 1455 roku. Po kilku latach sympatie mieszczan uległy zmianie i we wrześniu 1461 roku miasto przejął sprzyjający początkowo Krzyżakom biskup Legendorf. Mieszczanie ponownie przypuścili szturm na zamek wybijając polską załogę. W 1466 roku na
fot. ZeroJeden, IV 2007
mocy II pokoju toruńskiego diecezja warmińska została przyłączona do Polski i objęta protekcją królewską zyskując status lennego księstwa. W 1467 roku biskupem warmińskim został Mikołaj Tungen. Król Kazimierz Jagiellończyk nie uznał tego wyboru, co w rezultacie doprowadziło do wybuchu wojny zwanej księżą. Biskup przy pomocy Krzyżaków zajął Braniewo w 1472 roku. Oddziały polskie podjęły w 1478 roku próbę odbicia miasta z rąk krzyżackich jednak zakończoną niepowodzeniem. Rok później doszło do zawarcia pokoju i przywrócono zwierzchność króla Polski wobec Warmii. Na mocy tego porozumienia Tungen złożył hołd i został przyjęty do grona senatorów polskich. Podczas ostatniej wojny polsko-krzyżackiej w latach 1519-21 wojska Zakonu zdobyły Braniewo 1 stycznia 1520 roku. Także tym raz próba odbicia go z rąk krzyżackich przez wojsko polskie nie zakończyło się sukcesem. Rok później nastąpiło zawieszenie broni. W 1626 roku zamek i miasto opanowali Szwedzi. Otoczyli oni miasto umocnieniami bastionowymi.
W 1811 roku, po remoncie i adaptacji, w zamku znalazł się instytut pedagogiczny dla nauczycieli warmińskich szkół ludowych. W 1807 roku ostrzał artyleryjski poważnie uszkodził zamek szczególnie jego południowa część. Zburzona została wieża pł.-zach. na podzamczu. Zburzono gotycki dom na podzamczu stawiając na jego miejscu nowy budynek. W 1874 przeprowadzono kolejne prace. Obniżono o jedną kondygnację główne zamkowe skrzydło, rozebrano zabudowania gospodarcze i cześć fortyfikacji. Jednak w ciągu XIX wieku podupadł i w końcu został rozebrany w latach
fot. ZeroJeden, IV 2007
siedemdziesiątych XIX wieku. Ostatni akt działa zniszczenia biskupiej rezydencji dokonał się w 1945 roku.
Z rozbiórki ocalała tylko wieża bramna. Po zniszczeniach wojennych wieżę odremontowano w 1960 roku i nakryto dachem. Zachowana do dnia dzisiejszego gotycka wieża bramna łączyła zamek główny z podzamczem. Jej dolna partia pochodzi z pierwszej najstarszej fazy budowy zamku. Posiada ostrołukowy otwór przejazdowy z bramą. W wieży zachowało się pomieszczenie z gwieździstym sklepieniem oraz ukryte w grubości muru schody. Wieża posiada ganek obronny, zamurowane otwory strzelnicze oraz gotyckie dekoracje w postaci ostrołukowych płycin. W ramach projektu „Nowe życie wieży bramnej zamku biskupiego w Braniewie” w 2018 roku rozpoczęto prace mające na celu jej renowację i adaptację na cele muzealne. Prace zakończono we wrześniu 2020. Do obiektu dostarczono niezbędne media i instalacje. W północno zachodnim narożniku zamontowano kręcone, metalowe schody prowadzące na taras widokowy. W głównej, północnej wnęce kaplicy, w miejscu zaginionej, zamontowano kopię tablicy z herbem biskupa warmińskiego. W ścianie południowej powstały witraże – mniejszy z herbem Braniewa, większy, we wnęce dawnego ołtarza kaplicy, z postacią św. Andrzeja. W ścianach zewnętrznych od strony wschodniej i zachodniej przywrócono obrys przejazdu bramnego z drewnianymi wrotami. Odnowiona budowla pełni funkcje muzealne, mieści punkt informacji turystycznej, a na najwyższym poziomie znajduje się taras widokowy. Istnieje możliwość zwiedzania w godzinach otwarcia Miejskiej Biblioteki Publicznej w Braniewie.