ierwsze umocnienia w Bartoszycach powstały na miejscu pruskiego grodu w zakolu rzeki Łyny. Około 1240 roku Krzyżacy wykorzystali pozostałości tego grodu, aby wznieść drewniano-ziemną strażnicę. Była to jedna z pierwszych budowli tego typu wzniesionych przez Krzyżaków na terenie Prus.
W 1264 roku zamek został zdobyty przez pruskich powstańców, a w 1273 roku spłonął po odzyskaniu go przez Krzyżaków. Podczas odbudowy prawdopodobnie wzniesiono pierwsze elementy murowane. Zamek był siedzibą prokuratora podległego komturowi z Bałgi. Był to zapewne niewielki obiekt z gospodarczym podzamczem.
Wokół zamku zaczęły powstawać osiedla i w 1326 roku Bartoszyce otrzymały przywilej lokacyjny. W 1332 roku miasto zostało przeniesione na prawy brzeg Łyny
fot. ZeroJeden, IV 2007
przez Wielkiego Mistrza Ludera z Brunszwiku.W 1440 roku Bartoszyce przystąpiły do Związku Pruskiego, a pomimo późniejszego wycofania się, mieszkańcy wciąż wykazywali niechęć do Zakonu.
W 1454 roku, podczas powstania, zamek został zdobyty i zniszczony przez zbuntowanych mieszczan. Od tego czasu nie został odbudowany w pierwotnej postaci. Pozostałości warowni wykorzystano później do budowy siedziby starostów książęcych.
W 1902 roku w miejscu dawnego zamku wzniesiono budynek, w którym umieszczono siedzibę starostwa powiatu frydlandzko-bartoszyckiego, przeniesionego z Frydlądu (dzisiejszy Pravdinsk w Rosji). Budynek ten spłonął pod koniec II wojny światowej, w 1945 roku i nigdy nie został odbudowany.
Obecnie w miejscu dawnego zamku pozostało zalesione wzgórze, a na jego terenie można dostrzec rumowiska cegieł. Badań archeologicznych jeszcze nie prowadzono. Brak przekazów ikonograficznych uniemożliwia odtworzenie wyglądu pierwotnego zamku, chociaż zachowany miedzioryt z 1684 roku, przedstawiający panoramę Bartoszyc, być
Widok od północy na budynek starostwa w latach 30. XX wieku
może ukazuje pozostałości średniowiecznej warowni, w tym wieżę bramną, budynek mieszkalny i fragmenty murów.