ajstarszym elementem murowanym zamku w Olsztynie jest cylindryczna wieża, usytuowana w najwyższym punkcie wzniesienia. Jej budowa datowana jest na XIII wiek. Brak zachowanych dokumentów potwierdzających wzniesienie zamku, ale na podstawie badań można wnioskować, że Kazimierz Wielki w połowie XIV wieku rozbudował obiekt obronny do rozmiarów jednej z największych warowni na Jurze Krakowsko-Częstochowskiej. O skali rozbudowy świadczy zmiana nazewnictwa – wcześniejsza nazwa ""zamek Przymiłowice""
fot. ZeroJeden, XII 2020
została zastąpiona nazwami ""Holstein"" lub ""Olstin"".
Pierwsza pośrednia wzmianka o zamku w Olsztynie pochodzi z 1349 roku i dotyczy Zdziśka, burgrabiego de Olsten. Król Kazimierz Wielki przebywał na zamku 15 marca 1369 roku, kiedy to nadał prawo średzkie dla Przyrowa. Dokument ten zachował się do dzisiejszych czasów.
Zamek składa się z trzech części: zamku górnego, średniego i dolnego. Najstarszą częścią jest zamek górny, z wieżą pochodzącą z XIII wieku. Wieża ma obecnie 35 metrów wysokości, okrągłą podstawę wykonaną z kamienia, a w górnej części nadbudowaną w XV wieku ośmiobocznie z cegły. Służyła jako miejsce ostatecznej obrony, a wejście do niej znajdowało się na poziomie murów obwodowych. W lochach przetrzymywano skazanych na śmierć głodową. Na terenie zamku górnego znajduje się duża pieczara, prawdopodobnie służąca jako magazyn żywności i amunicji. Przejścia i korytarze wykute w skale tworzyły wraz z naturalnymi jaskiniami labirynt na terenie całego zamku.
Z zamku średniego zachowały się jedynie
fot. Kazimierz Broniewski, 1911
nieliczne ślady, podobnie jak z zamku dolnego. W zamku dolnym znajdowały się pomieszczenia gospodarcze, stajnia oraz mieszkania dla służby i budynki pomocnicze. Oprócz tych trzech części, na przeciwległym krańcu wzgórza stała osamotniona kwadratowa baszta, pełniąca funkcje obserwacyjne i obronne, umożliwiając flankowanie dostępu do murów zamku właściwego. Zamek był obsadzony stałą załogą wojskową króla Kazimierza.
Po wygaśnięciu dynastii Piastów zamek przeszedł w ręce Władysława Opolczyka. Po tygodniowym oblężeniu w 1396 roku Władysław Jagiełło odebrał zamek Opolczykowi i ponownie obsadził go stałą załogą.
W 1587 roku miała miejsce bitwa o zamek Olsztyński, opisywana później przez Aleksandra Fredrę i Władysława Syrokomlę. Wojska arcyksięcia Maksymiliana zaatakowały zamek, którym dowodził Kacper Karliński. Austriacy porwali syna Karlińskiego i ustawili go w pierwszej linii nacierających. Karliński sam oddał pierwszy strzał, zabijając syna, ale zmuszając wojska księcia do wycofania się.
W 1722 roku starosta Jerzy Lubomirski wydał zgodę na rozbiórkę walących się murów zamku w celu uzyskania kamienia na odbudowę spalonego kościoła w Olsztynie.
Przeprowadzone w latach 60. XX wieku prace konserwatorskie i archeologiczne pozwoliły na odtworzenie zarysu warowni oraz jej zabezpieczenie. Do dzisiejszych czasów zachowała się cylindryczna kamienna wieża z XIV wieku, w późniejszym okresie nadbudowana w ośmiokąt z cegły. Na wschód od niej znajdują się ruiny budynku mieszkalnego
fot. ZeroJeden, VIII 2002
oraz resztki bramy wjazdowej. Poniżej zamku górnego widoczne są wykute w skale schodki i wnęki, tzw. labirynt, stanowiące podziemia zamku średniego. Poza obrębem właściwego zamku, po zachodniej stronie wzgórza stoi samotnie czworoboczna baszta Sołtysia, prawdopodobnie strzegąca drugiej dawnej bramy wjazdowej od północnego zachodu. Cały zamek od bramy głównej po kwadratową wieżę otoczony był murem, którego fragmenty odkryto. Warownia olsztyńska była w okresie średniowiecza jednym z najważniejszych zamków na Jurze i w całym Królestwie.