rvní zmínka o Karlíně pochází z roku 1299, ale je známo, že již dříve v roce 1280 předal kníže Barnim I. tuto oblast biskupům kamienským. Pravděpodobně již v té době stála dřevěná tvrz, která je na počátku čtrnáctého století v listinách zmiňována jako sídlo biskupů.
V roce 1372 byla kapitula započata s výstavbou hradu z podnětu Jana nebo Filipa von Rehberg. Při ústí řeky Radew do Parsęty byl postaven velký komplex, který převzal funkce biskupství
fot. ZeroJeden, IV 2005
Kamień Pomorského. Stavba byla dokončena v roce 1385, kdy byla hradnímu osídlení udělena městská práva.
K prvnímu zničení hradu a města došlo v roce 1409. Další, pravděpodobně mnohem závažnější, v roce 1481 vojsky měšťanů z Kołobrzegu a Koszalinu. Teprve po několika desítkách let v 16. století byla hlavní zámecká budova přestavěna na renesanční rezidenci a změnila se dispozice místností. Ve čtyřicátých letech šestnáctého století byla přistavěna dvě nová křídla, která byla s bránou spojena.
Hrad byl ušetřen požáru, který město zachvátil v roce 1685. Nakonec byl hrad opuštěn v roce 1761 po dalším požáru v Karlíně, při kterém těžce utrpěl. V následujících letech byla většina pozůstatků zbourána. V 19. století byl v suterénu hlavní budovy postaven pivovar, který byl zničen na konci druhé světové války a zrekonstruován a sloužil jako sýpka. V současné době se nepoužívá, ale chátrá.