ierwsza wzmianka o wsi Kantorowice pochodzi z 1359 roku. Pod koniec XVI wieku wieś stała się własnością książąt brzeskich. Na przełomie XVI i XVII wieku, z inicjatywy książąt brzeskich, wzniesiono tu późnorenesansowy zamek myśliwski.
Założenie architektoniczne miało plan zbliżony do kwadratu. Był to dwukondygnacyjny budynek z wysuniętą od wschodu wieżą mieszczącą klatkę schodową. Obie kondygnacje podzielone były na pięć pomieszczeń. Pierwotnie ściany zamku pokrywała dekoracja sgraffitowa.
fot. ZeroJeden, III 2012
Obok budynku mieszkalnego znajdowały się zabudowania gospodarcze skupione wokół niewielkiego dziedzińca.
Zamek wraz z niewielkim dziedzińcem otaczała fosa, zasilana wodą z dopływu Nysy Kłodzkiej, której fragmenty zachowały się do dziś.
W połowie XVII wieku przeprowadzono bliżej nieokreślone prace budowlane. Z tego okresu pochodzi strop na piętrze, który pokrywają polichromie.
W 1720 roku zamek przeszedł na własność miasta Brzegu. W XIX wieku został znacznie przekształcony, rozebrano część zamkowych zabudowań, a resztę przebudowano pozbawiając cech stylowych. Możliwe, że wtedy rozebrano jakieś zabudowania zespołu zamkowego.
W 1936 roku przeprowadzono prace remontowe. Obecnie zamek nakryty jest dachem dwuspadowym z naczółkami wykonanym z dachówki. Pierwotny wygląd zamku, który był znacznie atrakcyjniejszy, zachował się na rycinie Wernhera z połowy XVIII wieku.
Obecnie jest to otynkowany budynek z kwadratową wieżą mieszczącą klatkę schodową. Stojące obok budynki to XIX-wieczne obiekty. Zamek zaadaptowano