Ślady fundamentów w widłach Wisły i Nidy należały kiedyś do rycerskiego zamku. Został on wzniesiony przez Kazimierza Wielkiego w XIV wieku na planie regularnym. Miał tu siedzibą zarządca królewski. Po rozbudowie z XV wieku umocniony jeszcze w XVI.W XVII wieku podczas potopu szwedzkiego zniszczony, w końcu XVIII wieku rozebrany.