oczątki miejscowości Podzamek sięgają pierwszej połowy XIII wieku. W 1388 roku wieś wraz z okolicznymi gruntami nabył zakon augustianów z Kłodzka, który władał nią przez blisko dwa stulecia. Na przełomie XIV i XV wieku zakonnicy wznieśli probostwo, które z czasem przekształcono w okazały dwór z kaplicą, służący im jako letnia rezydencja.
W 1554 roku wieś Podzamek została sprzedana przez augustianów kanclerzowi hrabstwa kłodzkiego, Henrichowi von Regner. Von Regner przebudował dwór w renesansowy zamek. Już dwadzieścia lat później, nowym właścicielem został Hans von Pannwitz und Mechwitz auf Pogrell. Po jego bezpotomnej śmierci zamek często zmieniał właścicieli.
W czasie wojny trzydziestoletniej zamek został skonfiskowany na rzecz kamery śląskiej
Zdjęcie z lotu ptaka, fot. ZeroJeden, XII 2020
za udział ówczesnego właściciela w walkach po stronie protestantów. W 1696 roku zadłużony majątek, należący do księżnej Benigny Piccolomini, został zajęty przez komornika. Kolejni właściciele, rodzina von Götzen, dokonali przebudowy zamku.
W latach 1895-96 dokonano kolejnej przebudowy, nadając budowli obecny neogotycki wygląd i przekształcając ją w okazały pałac. Po I wojnie światowej nastąpił powolny upadek posiadłości.
Po II wojnie światowej zamek został przejęty przez państwo polskie. W budowli funkcjonowało prewentorium przeciwgruźlicze dla dzieci, ośrodek kolonijny, szkoła milicyjna oraz Dom Opieki Społecznej. W latach 1983-93 przeprowadzono generalny remont pałacu. Obecnie w jego wnętrzach działa Dom Pomocy Społecznej dla Mężczyzn Niepełnosprawnych Intelektualnie.
Pałac w Podzamku składa się z trzech skrzydeł dwu- i trzykondygnacyjnych, nakrytych dwuspadowymi dachami. Główną dominantą obiektu jest kwadratowa wieża. Budowla zachowała bogatą renesansową kamieniarkę z portalem autorstwa kłodzkiego
Zdjęcie z lotu ptaka, fot. ZeroJeden, XII 2020
kamieniarza Jerzego Daniela oraz ślady dekoracji sgraffitowych na elewacjach. Wokół pałacu rozciąga się otoczony płotem park. Z uwagi na obecne użytkowanie, obiekt nie jest powszechnie dostępny, jedynie dawna kaplica jest udostępniana podczas mszy świętych.