letech 1473 a 1475 je zmíněna obranná věž v Potoce, poté byla vesnice majetkem Wojtka a Marcina ze znaku Śreniawa, který psal z Potoka. Věž byla pravděpodobně postavena mnohem dříve.
V roce 1852, pravděpodobně na místě této středověké strážní věže, postavil Wincenty Krasiński palác, který později přešel do rukou rodiny Raczyńských.