amek w Lutomiersku powstał przypuszczalnie przed 1418 rokiem z inicjatywy Wacława Zaręby z Kalinowej, choć istnieją również hipotezy łączące fundację warowni z Różycami Niechmirowskimi lub potomkami Jana z Chełmicy, czyli rodziną Lutomierskich. Budowę siedziby Zarębów rozpoczęto prawdopodobnie na planie kwadratu o wymiarach około 26x35 metrów. Możliwe, że zamek składał się z południowego, dwukondygnacyjnego domu z bramą, otoczonego murami oraz pomocniczego budynku stojącego przy zachodnim odcinku kurtyny północnej. Niektórzy historycy sugerują, że zamek nigdy nie został w pełni zrealizowany, a wzniesiono jedynie gmach z bramą i ewentualnie dom wschodni, natomiast pozostałe zabudowania miały konstrukcję drewnianą.
W 1460 roku Lutomiersk przeszedł na własność
Rekonstrukcje rzutów i przekroju domu zamkowego według Tadeusza Poklewskiego i Emilii Garbarczyk (1-mur średniowieczny pewny, 2-mur średniowieczny domniemany, 3-mur średniowieczny rekonstruowany, 4-mur z około 1650 roku, 5-przecięcia w narożnikach) [źródło]
rodziny Poddębskich, a w 1518 roku, w wyniku powiązań małżeńskich, stał się własnością Grzymalitów Grudzińskich.
W 1651 roku wojewoda rawski Andrzej Grudziński herbu Grzymała sprowadził do Lutomierska Zakon Ojców Reformatorów i ufundował im klasztor, który wchłonął mury gotyckiego zamku. Rozbudowę zespołu klasztornego prowadzili w latach 1651-59 Anna Grudzińska i jej syn Marcin Grudziński, podkomorzy inowrocławski. Obok domów klasztornych wznieśli oni nowy barokowy kościół konsekrowany w 1659 roku. Zamek został zaadaptowany na pomieszczenia klasztorne.
Po blisko 200-letnim okresie rządów zakonnych, w ramach sankcji polityczno-ekonomicznych za wspieranie powstańców styczniowych, budynek klasztorny został przejęty przez skarb państwa. W 1900 roku zmarł ostatni rezydent klasztoru i obiekt zamknięto. Wystawiony na licytację przez władze carskie, został wykupiony przez gminę lutomierską, która przekazała go biskupowi diecezji kujawsko-kaliskiej.
Podczas działań wojennych jesienią 1914 roku budynek został poważnie uszkodzony – spłonęły dachy, runęły sklepienia, a mury uległy zniszczeniu.
fot. ZeroJeden, X 2005
Po wojnie planowano nawet zburzenie klasztoru i postawienie kapliczki upamiętniającej działalność Reformatorów.
Ostatecznie zawiązał się komitet odbudowy i w 1925 roku ruiny wraz z kościołem przekazano Salezjanom, którzy rozpoczęli rekonstrukcję. Po zakończeniu prac w 1929 roku otwarto tu zakład wychowawczy i sierociniec, który z przerwami funkcjonował do 1951 roku. Niemcy wywieźli wtedy klasztorne archiwum tworzone od XVII wieku. Do 1926 roku obiekt odbudowano i przeznaczono na szkołę i internat, którymi zajęło się Zgromadzenie Salezjanów.
Podczas drugiej wojny światowej pomieszczenia klasztorne zaadaptowano na koszary dla żołnierzy Wehrmachtu, punkt zborny dla Polaków wywożonych na przymusowe roboty do Niemiec, magazyn zbożowy, a w marcu 1943 roku na magazyn części zamiennych do samolotów Luftwaffe.
W 1951 roku budynki klasztorne dotknął pożar. Po odbudowie, która trwała do 1974 roku, obiekt zaadaptowano na dom rekolekcyjny i ośrodek dla młodych księży.
Pozostałości gotyckiego zamku ukryte są w południowym
fot. ZeroJeden, X 2005
skrzydle zespołu klasztornego. Nieotynkowana elewacja z rudej cegły ozdobiona jest rombami dekoracji zendrówkowej. W części wschodniej widoczny jest zamurowany ostrołukowy przejazd bramny z dwiema furtkami, a po stronie zachodniej znajdują się relikty gotyckich okien. W 1996 roku otwarto tutaj Salezjańską Ogólnokształcącą Szkołę Muzyczną II Stopnia z internatem. Obecnie mieści się tu Salezjańskie Liceum Muzyczne.