oczątki osady Rytwiany sięgają czasów piastowskich. Pierwszym odnotowanym w dokumentachz XII wieku właścicielem wsi był Piotr Bogoria Skotnicki. Według Jana Długosza, biskup Wojciech Jastrzębiec nabył Rytwiany od panów ze Skotnik i zbudował nad rzeką Czarną zamek. Współcześnie jednak uważa się, że zamek powstał pod koniec XIV wieku, a biskup jedynie go rozbudował w pierwszej połowie XV wieku.
Pierwotne założenie składało się z trzykondygnacyjnego budynku, w który wkomponowano
Zdjęcie lotnicze, fot. ZeroJeden, IV 2021
wieżę obronną. Później wzniesiono mury obwodowe na rzucie prostokąta, a wzdłuż ich północnego odcinka kolejny budynek mieszkalny. Do budowy użyto cegły na fundamenty, natomiast wykorzystano miejscowy wapień. Zniszczenia dokonane w następnych stuleciach nie pozwalają na dokładne odtworzenie budowli i układu pomieszczeń. Obronność zamku zwiększała fosa zasilana wodą z rzeki oraz most zwodzony. Wjazd prowadził prawdopodobnie od strony wschodniej.
Po zmianach dokonanych przez biskupa Jastrzębca zamek stał się siedzibą rodową jego bratanków, którzy przybrali nazwisko Rytwiańskich i pozostawał w ich rękach do końca XV wieku. Następnie stawał się własnością kolejno Kurozwęckich, Łaskich i Tęczyńskich.
Pierwsza połowa XVII wieku, kiedy zamek należał do Jana Tęczyńskiego, to czasy jego największej świetności. Stał się magnacką rezydencją, ośrodkiem dworskiej kultury i miejscem pobytu uczonych i artystów. Po ślubie Izabeli Tęczyńskiej w 1639 roku, kolejnym właścicielem dóbr rytwiańskich został Łukasz Opaliński,
Ruiny zamku w Rytwianach na zdjęciu z 1872 roku
marszałek nadworny koronny. Pochodzący z wielkopolskiej szlachty, starannie wykształcony, kontynuował dzieło teścia i wzbogacił zamkową bibliotekę.
W 1657 roku zamek został poważnie uszkodzony przez wojska Jerzego Rakoczego, wspierającego króla szwedzkiego Karola Gustawa. Zniszczenia musiały być na tyle poważne, że syn Łukasza, Stanisław Opaliński, pod koniec wieku przeniósł swą siedzibę do Łubnic. Dalsze zniszczenia przyniosła wojna północna, kiedy wojska szwedzkie dewastowały zamkowe mury. Mimo to, jak podają dokumenty, zamek pozostawał zamieszkały przez urzędników dworskich do roku 1840.
Około 1859 roku właścicielami Rytwian zostali Potoccy. Zamkowe ruiny służyły im jako źródło materiałów budowlanych, co doprowadziło do ich rozbiórki.
Obecnie pośrodku wsi, na terenach zalewowych rzeki Czarnej, znajdują się nikłe pozostałości rycerskiego zamku. Jedynym zachowanym reliktem jest wysoki narożnik ze skośną przyporą ozdobiony siatką rombów z zendrówki.