e wczesnym średniowieczu na cyplu wysoczyzny, opasanym zakolem rzeki Mogilicy, znajdował się obronny gród otoczony kamienno-ziemnym wałem o wysokości 2,5 m. W roku 1277 książę pomorski Barnim I sprzedał biskupowi kamieńskiemu Lipie, wraz z przyległymi ziemiami położonymi w kasztelani kołobrzeskiej.
Biskup Herman von Gleichen, wykorzystując walory obronne miejsca po dawnym grodzie, wzniósł zamek, w źródłach pisanych nazywany „castrum Tharnhus”, choć badania archeologiczne nie potwierdziły jednoznacznie tego faktu, sugerując możliwość początkowej drewnianej konstrukcji zamku, która została zastąpiona murowaną w połowie XIV wieku. Zamek powstał na odciętym suchą fosą końcu wysoczyzny, którego strome zbocza o wysokości dochodzącej do 25 m zapewniały naturalną
fot. ZeroJeden, IV 2005
ochronę.
W pierwszej fazie zbudowano kamienno-ceglany budynek na planie prostokąta o wymiarach 9,3×17,5 m. Obiekt ten miał cechy wieży obronno-mieszkalnej i stanowił ważny punkt strategiczny, broniący posiadłości kościelnych przed Brandenburgią. Obok zamku powstała osada, która w 1287 roku uzyskała prawa miejskie na prawie lubeckim.
W roku 1387 miasto i zamek w Lipiu,w wyniku konfliktu pomiędzy księciem Bogusławem VIII a biskupem, przeszły w posiadanie książąt pomorskich. W ich posiadaniu pozostały do roku 1436. Leżący na pograniczu zamek w Lipiu był często narażony na ataki. W 1444 roku miasto i zamek zostały złupione przez Krzyżaków ze Świdwina.
W roku 1461 Lipie przejął Eggard von Manteuffel z Połczyna. W latach 1521-44 zamek stał się siedzibą biskupa Erazma von Manteuffel. Prawdopodobnie w tym okresie nastąpiła jego rozbudowa, poprzez dostawienie od strony wschodniej muru obwodowego otaczającego niewielki dziedziniec o wymiarach 13,8×19,5 m. Brama wjazdowa znajdowała się w murze południowym. W 1540 roku
fot. ZeroJeden, IV 2005
zamek został najechany przez Borków, ale zniszczenia zostały naprawione.
Gdy zamek w Lipiu był siedzibą biskupią, przeżywał lata swojej świetności. Po przekazaniu go rodzinie biskupiej stracił na znaczeniu. W roku 1572 Lipie utraciło prawa miejskie, co było wynikiem konfliktu mieszczan z bratankiem biskupa Kerstenem von Manteuffel. Od tego momentu nastąpił powolny upadek miasta i zamku. Kolejnym tragicznym okresem była wojna trzydziestoletnia (1618-48), kiedy osada została spalona i zniszczona, a ludność przesiedlona do Połczyna.
Zrujnowany zamek w Lipiuw 1733 roku został całkowicie zburzony. W połowie XVIII wieku, przy wykorzystaniu materiału budowlanego pozyskanego z ruin zamkowych, w odległości 150 m na wschód wzniesiono pałac.
Obecnie w północno-zachodniej części wsi Lipie zachowały się jedynie nikłe relikty biskupiego zamku. W wyniku badań archeologicznych odkryto kamienne fundamenty wieży. Te skąpe pozostałości nie pozwalają na jednoznaczne odtworzenie pierwotnego wyglądu zamku.
Zamek w Lipiu, mimo iż pozostaje
fot. ZeroJeden, IV 2005
budowlą dość tajemniczą, stanowi ciekawy przykład obiektu obronnego wzniesionego przez feudała kościelnego pod koniec XIII wieku.
Włącz 3D
wczesnym średniowieczu na cyplu wysoczyzny, opasanym zakolem rzeki Mogilicy, znajdował się obronny gród otoczony kamienno-ziemnym wałem o wysokości 2,5 m. 
