1473 i 1475 roku wzmiankowana jest wieża obronna w Potoku, wtedy wieś była własnością Wojtka i Marcina herbu Śreniawa piszących się z Potoku. Prawdopodobnie wieża wzniesiona została znacznie wcześniej.
W 1852 roku prawdopodobnie w miejscu właśnie tej średniowiecznej strażnicy wzniesiono Wincenty Krasiński wzniósł pałac, który później przeszedł w ręce Raczyńskich.