Dwór obronny w Modliszewicach został wzniesiony około roku 1630 przez ród Modliszewskich jako ich rodowa siedziba. Niewykluczone, że powstał na miejscu wcześniejszej budowli obronnej.
Obiekt usytuowano na sztucznie usypanej wyspie otoczonej wodą. Dwór miał formę prostokątnego budynku o wymiarach 10,8 x 27 metrów, z dwiema półokrągłymi basztami umieszczonymi w narożach. Zbudowano go z kamienia, na fundamencie z łamanego wapienia.
Wjazd na wyspę chroniła murowana brama, do której prowadził drewniany, prawdopodobnie zwodzony, most przerzucony nad wodą. Mimo obecności strzelnic w bramie i basztach, obiekt nie miał dużego znaczenia militarnego, a przy jego budowie priorytetem były funkcje rezydencjonalne.
W połowie XVII wieku Modliszewice stały
Widok zamku z lotu ptaka, fot. ZeroJeden VIII 2018
się własnością biskupa Jana Lipskiego. Prawdopodobnie to on zlecił przebudowę dworu, podczas której od strony południowej dobudowano nowe skrzydło mieszkalne. Powstały również tarasy wsparte na arkadach, mające imitować krużganki. Wyspę otoczono niskim murem.
W połowie XIX wieku dwór został opuszczony. Obecnie (w czasie pisania tego opisu) jest remontowany, a jego użytkownikiem jest Wojewódzki Ośrodek Doradztwa Rolniczego. Zamek rycerski z XIV wieku, wielokrotnie przebudowywany. Został wzniesiony na sztucznie usypanej wyspie. Wieża bramna do której prowadził przez fosę most była cofnięta w stosunku do murów. Dzisiejszy wygląd zameczek otrzymał w 1630 roku podczas przebudowy Jana Lipskiego, późniejszego prymasa.