rvní dřevěné opevnění zde pravděpodobně existovalo nejméně od 13. století. Dřevěná a hliněná tvrz byla zcela zničena v roce 1300 během bojů Vladislava I. Po lokty s Václavem II. o polskou korunu. Je také možné, že zmínka o zničení hradiště odkazuje na opevnění na sousední hoře Biśnik. Vlastníkem pozemků v Pilici byla tehdy rodina Toporczyků. Brzy poté, ještě před polovinou čtrnáctého století, postavil Jan z Pilice nebo jeho syn Otto na vrcholu skály zděný hrad Pilica. V západní části areálu byla postavena vysoká věž o průměru 7,5 metru, od které probíhaly obvodové stěny podél okraje skály. Vstup do věže byl v úrovni vrcholu hradeb. Východní část skály zaujímal obytný dům. Brzy poté, co byl hrad postaven na skále, byl rozšířen
Ruiny zamku w Smoleniu od północy, akwarela Teodora Chrząńskiego, 'Kazimierza Stronczyńskiego opisy i widoki zabytków w Królestwie Polskim (1844-1855)'
o dvě předhradí. Na západním předhradí byla do skály vytesána studna do hloubky přes 100 metrů. Toto předhradí bylo také chráněno dvěma polověžemi. Vchody do vnějšího předhradí vedly z jihu a ze severu byly malé branky pro spojení mezi vnějšími předhradími.
V roce 1389 Otto zemřel a jeho dcera Alžběta se provdala za Wincenty z Grabowaz Leliwy erb. Později se hrad stal majetkem syna Alžběty a Wincenty, vojvody a kastelána krakovského Jana z Leliwského erbu, který přijal příjmení Pilecki. V patnáctém století byl komplex rozšířen, během čehož byly polověže přeměněny na věže. Na přelomu 15. a 16. století byly obnoveny stavební práce, v jejichž důsledku došlo k rozšíření plochy západního předhradí a k výstavbě nového obytného domu v západním nároží.
Posledním majitelem rodu Leliwit-Pilecki byl také Jan, který v roce 1570 prodal hrad biskupovi Filipu Padniewskému, který jej předal svému synovci Wojciechovi. Od té doby hrad nebyl využíván jako sídlo majitele a po roce 1610, kdy Wojciech Padniewski postavil hrad v Nowé Pilici, byla Smoleň zcela opuštěna.
Hrad pomalu chátral v ruiny a tento proces urychlily války se Švédy.