ierwsze wzmianki źródłowe o Łutowcu pochodzą z 1399 roku. Mimo braku wzmianki o zamku w tym dokumencie, jego istnienie w tym okresie jest prawdopodobne. Fundator zamku pozostaje nieznany, a fragmentaryczne pozostałości utrudniają określenie jego pierwotnej wielkości i rozplanowania.
Według Bohdana Guerquina, zamek w Łutowcu mógł być strażnicą wzniesioną przez Kazimierza Wielkiego, stanowiącą element systemu obronnego zachodniej granicy Królestwa Polskiego. Nowsze hipotezy sugerują jednak, że budowla mogła powstać później, wzniesiona przez Władysława Opolczyka w latach 70. lub 80. XIV wieku.
W 1408 roku wieś Łutowiec przeszła w posiadanie rodu Koziegłowskich. Niezależnie od fundatora, zamek wzniesiono w drugiej połowie XIV wieku, wykorzystując naturalne walory
Widok z lotu ptaka, fot. ZeroJeden, V 2020
obronne terenu, w tym wysoką, urwistą wapienną skałę.
Warownia składała się prawdopodobnie z dwóch części: zamku górnego, wzniesionego z łamanego kamienia wapiennego na szczycie skały, oraz zabudowań gospodarczych u jej podnóża, otoczonych fosą i wałem. Ukształtowanie terenu sugeruje istnienie umocnień w dolnej partii.
Nie wiadomo dokładnie, kiedy zamek uległ ruinie, ale prawdopodobnie miało to miejsce na przełomie XV i XVI wieku. Być może zamek został opuszczony i rozebrany.
Obecnie jedyną pozostałością po zamku w Łutowcu jest fragment muru o długości 4,5 metra i grubości 0,6 metra, usytuowany na wapiennej skale. Brak przeprowadzonych badań archeologicznych uniemożliwia pełne odtworzenie wyglądu warowni.