1345 roku zakon joannitów przejął dobra pomorskie po rozwiązanym zakonie templariuszy, w tym komandorię i zamek w Rurce. Po wyborze Wilhelma Holstena na komendanta komandorii, doszło do konfliktu z rodem Wedelów, skutkującego najazdem i spaleniem zamku w Rurcew 1373 roku. W 1377 roku zakon uzyskał zgodę książąt szczecińskich na założenie nowej siedziby komandorii w Swobnicy.
Zamek w Swobnicy wzniesiono na półwyspie jeziora Grodziskiego na planie kwadratu o boku 50 metrów. Otaczały go wysokie na 15 metrów mury zwieńczone krenelażem. W północno-zachodnim narożniku murów wzniesiono 30-metrową wieżę, graniastą do 1/3 wysokości, powyżej cylindryczną. Wejście do wieży znajdowało się na wysokości 16 metrów i było dostępne jedynie z ganku straży biegnącego
Widok na wieżą zamkową od strony dziedzińca, fot. ZeroJeden, III 2002
po zachodnim murze, poprzez kładkę nad dwumetrowej szerokości przepaścią. Wzdłuż muru północnego znajdował się budynek mieszkalny. Dojazd do zamku prowadził przez podzamcze, oddzielone głęboką fosą przecinającą półwysep. W murze zachodnim usytuowana była brama wzmocniona budynkiem bramnym.
W połowie XV wieku zamek rozbudowano. Wzdłuż muru wschodniego wzniesiono duży dom, gdzie przeniesiono komnaty komendanta i pomieszczenia mieszkalne. Wzdłuż muru południowego powstało skrzydło gospodarcze. W starym budynku północnym, oprócz kaplicy, umieszczono zbrojownię.
W 1544 roku zamek przejął książę Filip I Pobożny, wyznaczając Andreasa von Blumenthala na komendanta. Około 1600 roku skrzydło wschodnie podwyższono o jedną kondygnację, co zapoczątkowało wzrost znaczenia funkcji mieszkalnych nad obronnymi.
Po pokoju westfalskim w 1648 roku joannici opuścili Swobnicę, a ich posiadłości przejęli margrabiowie z rodu von Hohenzollern z Schwedt.W roku 1680 Swobnica stała się własnością księżnej Doroty Szlezwicko-Holsztyńskiej. Zleciła ona przebudowę zamku w stylu barokowym. Zburzono skrzydła północne i południowe oraz zachodni odcinek muru z budynkiem bramnym. Wzniesiono nowe budynki, przekształcając zamek w trójskrzydłową rezydencję z bogatym wystrojem wnętrz. Na początku XVIII wieku, za margrabiego Fryderyka Wilhelma von Brandenburg-Schwedt, zamek przeżywał okres świetności. Po jego śmierci w 1771 roku, a następnie śmierci jego brata Fryderyka Henryka w 1778 roku, Swobnica stała się własnością państwa pruskiego.
Pod koniec XIX wieku
Litografia E.Sanne'a z 1846 roku
przeprowadzono prace renowacyjne. W murach zewnętrznych wybito otwory okienne, wzniesiono mur oporowy przed dziedzińcem i wykonano podjazd do zamku. Z wieży uczyniono platformę widokową, a wnętrza odnowiono. Na początku XX wieku Hohenzollernowie opuścili zamek z powodu kosztów utrzymania. Majątek został wydzierżawiony, a ostatnimi dzierżawcami przed II wojną światową była rodzina von Dassel.
Po wojnie w zamku umieszczono dyrekcję PGR-u. W latach 70. XX wieku planowano adaptację na hotel, ale zrezygnowano z powodu stanu dewastacji. Po wyprowadzce PGR-u zamek uległ dalszej ruinie. Po 1989 roku zniszczony obiekt stał się własnością prywatną, co nie poprawiło jego losu. W 2011 roku zamek przejęła gmina Banie. W 2012 roku wyremontowano dach na skrzydle wschodnim, a w 2013 roku zakończono remont wieży, którą udostępniono jako punkt widokowy.
Z pierwotnego założenia najlepiej zachowała się wieża. Widoczne są także pozostałości murów i zabudowań, których piwnice stanowią jedyne fragmenty wcześniejszych gotyckich budynków.