roce 1232 daroval Vladislav Odonic vesnici a okolní zboží templářskému řádu. Od roku 1250 do konce třináctého století postavili na plochém návrší nad řekou Myśl kapli a pravděpodobně obklopili rozlehlou náhorní plošinu opevněním včetně několika dalších budov. Sídlilo v něm sídlo komendy a od roku 1262 komenda, ale nejednalo se o významný předpoklad.
V roce 1312 se Chwarszczany, po sekularizaci templářských rytířů, dostaly do vlastnictví rytířů špitálníků.
Po přestěhování rytířů ze Świdwinu byl ze zámku Chwarszcz zřízen hospodářský dvůr. Během sedmileté války byla částečně zničena.