ejstarším cihlovým prvkem olštýnského hradu je válcová věž stojící na nejvyšším bodě kopce. Pochází ze třináctého století. Bohužel se nedochovaly žádné dokumenty potvrzující stavbu hradu, ale na základě provedených výzkumů lze konstatovat, že teprve za Kazimíra Velikého v polovině čtrnáctého století byl obranný komplex rozšířen na velikost největší pevnosti v Krakově-Čenstochové vrchovině. O velikosti expanze svědčí změna názvosloví. Zatímco v dřívějších
fot. ZeroJeden, VIII 2002
dokumentech ze procesu s biskupem Janem Muskata přineseném arcibiskupem Jakubem Świnkou se hovoří o ""zámku Przymiłowice"", po rozšíření Kazimírem Velikým se hrad již nazývá ""Holštýnsko"" nebo ""Olštin"". Jistě, je to o stejném místě, ale ne zcela o stejném předmětu.
Nejstarší zmínka nepřímo potvrzující existenci hradu v Olsztyně pochází z roku 1349. V tomto dokumentu byl svědkem Zdzisko purkrabí de Olsten. Dne 15. března 1369 byl král Kazimír Veliký na hradě, když udělil nedalekému Przyrówu zákon Środa Śląska. Tento dokument se v úplnosti dochoval až do dnešní doby, ale s největší pravděpodobností král pobýval na hradě již mnohokrát předtím.
Hrad, v jehož podobě zřícenina stojí dodnes, se skládá ze tří částí. Horní hrad je nejstarší, jak již bylo zmíněno na začátku, věž pochází ze třináctého století. V současné době je vysoká 35 metrů, u základny je kulatá a postavená z kamene. V horní části byla postavena v patnáctém století osmibokě z cihel. Jednalo se o místo konečné obrany, vstup do něj vedl z úrovně obvodových zdí. Žaláře sloužily k zadržování lidí odsouzených k vyhladovění. V horním hradě se nachází velká jeskyně, která pravděpodobně sloužila jako sklad potravin a střeliva. Chodby a chodby vytesané do skály spolu s přírodními jeskyněmi tvořily rozsáhlý labyrint po celém hradě.
Z prostředního hradu, stejně jako z dolního hradu, se dochovalo jen několik stop. V podhradí se nacházely hospodářské místnosti, konírna, byty pro služebnictvo
fot. ZeroJeden, IV 2009
a pomocné budovy. Kromě těchto tří částí, které tvořily jednotný celek, stála na opačném konci kopce osamělá čtvercová věž. Plnila pozorovací a obrannou funkci, protože byla schopna obchvat přístup k hradbám vlastního hradu. Hrad byl obsazen stálou vojenskou posádkou krále Kazimíra.
Po vymření rodu Piastovců se hrad dostal do rukou Vladislava Opolczyka spolu s několika dalšími blízkými hrady. Byl lupičem a spikl se s Řádem německých rytířů, teprve Vladislav Jagiełło jeho činy ukončil. Hrady v rukou Opolí vrátil koruně, včetně hradu Olsztynu po týdenním obléhání v roce 1396, opět jej obsadil stálou posádkou.
V roce 1587 došlo k bitvě o Olsztynský hrad, kterou později popsali Aleksander Fredro a Władysław Syrokomla. Vojsko arcivévody Maxmiliána vniklo do Polska a v cestě jim stál Olštýnský hrad, jehož posádce tehdy velel Kacper Karliński. Rakušané zašli tak daleko, že unesli syna polského velitele a udrželi ho v první linii útočníků. Traduje se, že nikdo z posádky
fot. ZeroJeden, X 2005
se neodvážil vystřelit na nepřítele, první výstřel pak vypálil sám Karliński. Jeho syn byl v boji zabit, ale princova vojska se musela stáhnout.