ierwszym założeniem obronnym w Korytowie był zamek joannitów z XII wieku. W pierwszej połowie XVI wieku w nowym miejscu w bezpośrednim sąsiedztwie dawnego zamku rodzina Goltzów wzniosła dwór obronny. Miał on plan prostokąta i prawdopodobnie trzy kondygnacje. W końcu XVI wieku założenie powiększono o dodatkowe, niższe skrzydło.

Po połowie XVII wieku dwór został zniszczony i opuszczony, później w drugiej połowie XVIII wieku na pozostałościach rozebranego dworu wzniesiono obecnie istniejący w tym miejscu barokowy dwór. Nie pokrywa się on w planie dokładnie z dworem Goltzów. W XIX wieku został powiększony o mniejsze boczne skrzydła.

Ostatni remont miał miejsce w latach 80. XX wieku.