arunki terenowe nad Wisłoką w Rzemieniu,z licznymi mokradłami i stawami, sprzyjały obronności. Około 1379 roku tereny te nabył Jan Tarnowski z rodu Lelewitów. Prawdopodobnie na początku XV wieku wzniesiono obronny dwór, stanowiący centrum administracyjne rozległego majątku, na miejscu obecnego zamku.
Na początku XVI wieku Rzemień stał się siedzibą rodową bocznej linii Tarnowskich. Zapewne to było powodem przebudowy dworu w murowaną wieżę. Obiekt wzniesiono pośród mokradeł
Rzut przyziemia dworu według Teresy Jakimowicz [źródło]
doliny Wisłoki na niewielkim cyplu odciętym potokiem spiętrzonym w sztuczne stawy. Podmokły grunt wymagał zagęszczenia palami i fundamentów na dębowym ruszcie. Budowla wzniesiona została na planie zbliżonym do kwadratu o boku 13 metrów i posiadała cztery kondygnacje. Do jej budowy użyto cegły, a grubość muru w dolnych kondygnacjach wynosiła 2 metry. Parter i piwnice pełniły funkcje gospodarcze i magazynowe. Na pierwszym piętrze znajdowało się mieszkanie właściciela. Ostatnia kondygnacja (4,3 m wysokości) posiadała jedną salę, która pełniła funkcje reprezentacyjne. Wieża stała pośrodku dziedzińca otoczonego wałem obronnym. Z pierwszego piętra prowadziły na wały drewniane ganki: jeden do wejścia, drugi do stajni, co zapewniało bezpośrednią komunikację z części mieszkalnej bez schodzenia na dziedziniec. Do zamku prowadziła droga przez podzamcze zwane przedrostkiem, gdzie mieściły się zabudowania gospodarcze i mieszkania dla służby. Otoczony wodą i mokradłami zamek posiadał bramę z prawdopodobnie zwodzonym mostem.
W 1616 roku Rzemień zakupił Stanisław Lubomirski. Nowy właściciel zmodernizował umocnienia ziemne wokół zamku, przekształcając je w czworoboczne fortyfikacje z bastionami, oraz wyposażył go w 40 dział. Pomimo, że Rzemień przestał pełnić rolę siedziby rodowej, Stanisław Lubomirski w swym testamencie
Widok od zachodu, fot. ZeroJeden, VI 2000
zalecał, aby artylerii tego zamku nie uszczuplać. Otaczające obiekt wały, spora liczba dział oraz rozległe bagna i stawy wokół, czyniły Rzemień jednym z bardziej warownych zamków w Rzeczpospolitejw połowie XVII wieku.
Od 1710 roku klucz rzemieński przechodził w posiadanie Sanguszków, a następnie wracał na krótko do Lubomirskich. W następnych latach zmieniał właścicieli, należąc kolejno do Lasockich, Stadnickich, Reyów, Boguszów i Szaszkiewiczów.
W połowie XIX wieku Feliks Bogusz przeprowadził neogotycką przebudowę wieży. Nadbudowano jedną kondygnację oraz założono krenelaż kryjący wklęsły dach. W początkach XIX wieku warownia została opuszczona i pozbawiona opieki niszczała. Jednak jeszcze w 1857 roku Feliks Bogusz dobudował najwyższą kondygnację o cieńszych murach z innej cegły.
Kolejne zmiany zamku miały miejsce na początku XX wieku a ich autorem był Gustaw Szaszkiewicz. Wzniesiona została cylindryczna wieżyczka mieszcząca klatkę schodową oraz dwie dobudówki od północy i zachodu. Wieża uzyskała ponownie dach namiotowy wyższy niż poprzednio. Rozebrana zostaje stara brama i kazamaty. Kurtyny północna i południowa zostają rozkopane w celu budowy szerokich przejść. Obniżeniu ulega o około 1,7 m poziom dziedzińca.
W 1931 roku podczas remontu do wieży dobudowane zostały z cegły nowe pomieszczenia z okrągłą wieżą mieszczącą klatkę schodową. W obwodzie wałów wzniesiono wówczas także dwie bramy. Do naszych czasów wieża dotrwała dość dobrze zachowana i stanowi ciekawy przykład siedziby rycerskiej.
W zespole zabudowań zachowała się
Zdjęcie lotnicze, fot. ZeroJeden, V 2023
trzynastometrowa wieża i fragmenty fortyfikacji pierwotnego założenia. Obecnie obiekt jest w rękach prywatnych i mieści się tutaj Zespół Szkół Rolniczych i internat.