ierwsza wzmianka o Ryczowie pochodzi z 1388 roku. W 1416 roku wieś znajdowała się w posiadaniu Jana z Kwaśniowa herbu Stary Koń. Mimo braku wzmianek o obiekcie obronnym w dokumentach, badania archeologiczne prowadzone u podnóża strażnicy przez J. Pierzaka i D. Rozmus wskazują na wzniesienie budowli pod koniec XIV wieku. Wcześniejsze hipotezy wiążące budowę murowanego zamku z Kazimierzem Wielkim wydają się bezpodstawne w świetle tych badań.
Warownia w Ryczowie wpisuje się w system obronny południowo-zachodniej granicy państwa polskiego, pomiędzy zamkami w Ogrodzieńcu, Smoleniu i Bydlinie, wzmocniony wobec nasilającego się od początku XIV wieku zagrożenia ze strony Czech.
Głównym elementem założenia był budynek wieżowy wzniesiony na planie nieregularnego czworoboku zbliżonego do trapezu, o wymiarach 16x11x12,5x10 metrów. Mury wykonano z kamienia łamanego i wzmocniono przyporami. Wieża prawdopodobnie miała dwa lub trzy piętra i nie posiadała klasycznego wejścia. Dostęp do niej zapewniał drewniany pomost, o czym świadczą wykute w skale zagłębienia do umocowania jego konstrukcji.
U podnóża skały, od strony północnej, przylegał niewielki majdan o wymiarach 15x25 metrów, wybrukowany. Znajdowała się tam drewniana zabudowa gospodarcza i mieszkalna dla straży, dostawiona do pionowej ściany skalnej. Majdan
Widok z lotu ptaka, fot. ZeroJeden, V 2020
oraz ostańiec, na którym wzniesiono wieżę, otaczał system fortyfikacji składający się z fosy o szerokości 7-10 metrów, drewniano-ziemnego wału o wysokości około 1,5 metra oraz wewnętrznego wału z drewnianym częstokołem. Wjazd na teren zamku dolnego prowadził przez drewnianą bramę, poprzedzoną mostem osadzonym na kamiennych filarach, których pozostałości odkryto w północno-wschodnim odcinku fosy.
Strażnica została zniszczona i opuszczona w XV wieku, prawdopodobnie na skutek najazdu zbrojnego. W XVI wieku warownia podupadła i została opuszczona, a być może nawet wysadzona w powietrze.W okresie międzywojennym obsunięciu uległa część skały, powodując zawalenie się północno-wschodniego narożnika murów. W latach 60. XX wieku ruiny zostały zabezpieczone przed dalszym rozpadem.
Podczas badań archeologicznych prowadzonych w latach 1990-91 oraz w 2019 roku odkryto liczne zabytki ruchome, w tym pozostałości średniowiecznej broni.
Do dnia dzisiejszego zachowały się skromne fragmenty murów wieży na szczycie ostańca,
Widok od południowego-zachodu, fot. ZeroJeden, V 2005
a u jego podnóża widoczne są wyżłobienia dawnej fosy oraz pozostałości ziemnego wału. Ruiny położone są we wschodniej części wsi, na skraju lasu, przy ul. Basztowej.