amek w Wyszogrodzie został wzniesiony na miejscu wcześniejszego grodu, na prawym brzegu Wisły, na skraju nadrzecznej skarpy. Gród ten pełnił funkcję obronną, strzegąc starego traktu handlowego z Rusi na Pomorze i kontrolując przeprawę przez rzekę. Budowę zamku datuje się na początek XIII wieku, za czasów księcia Konrada I Mazowieckiego. Nie wiadomo jednak, czy pierwotna konstrukcja była murowana.
W ciągu XIII wieku Wyszogród był jedną z głównych rezydencji książąt mazowieckich. Budowa murowanego zamku mogła mieć miejsce za panowania Kazimierza Wielkiego, choć brak jednoznacznych potwierdzeń w kronikach.
Największy rozkwit zamku i osady nastąpił za rządów książąt Siemowita III i jego syna Janusza I. W roku 1398 Janusz I nadał Wyszogrodowi prawa miejskie,
Góra Zamkowa od wschodu, fot. ZeroJeden, XII 2006
a ten okres uważa się za najbardziej prawdopodobny czas powstania murowanej warowni. Alternatywnie, za fundatora zamku uważa się Siemowita III lub jego syna Janusza I Starszego.
Zamek prawdopodobnie wzniesiono na planie regularnego czworoboku, z ośmioboczną wieżą główną i murowanym domem mieszkalnym. Przypuszcza się, że w późniejszym okresie wzniesiono drugi budynek mieszkalny oraz wieżę bramną przed licem muru obwodowego.
Dalsze losy zamku są słabo udokumentowane. W XVIII wieku był już w ruinie.W roku 1798 władze pruskie podjęły decyzję o rozbiórce zamku, a uzyskane cegły posłużyły do budowy budynków mieszkalnych w mieście. Jeszcze w roku 1870 miała stać ośmioboczna ceglana wieża zamkowa. Bohdan Guerquin wspomina o akwareli ilustrującej tę wieżę, ale jej obecne miejsce pobytu jest nieznane.
Po zamku nie zachowały się żadne widoczne pozostałości. Znajdował się na Górze Zamkowej, stożkowatym wzniesieniu, które jest łatwo dostępne, położone bezpośrednio przy moście przez Wisłę (z którego po rozbiórce
Widok z lotu ptaka od południowego-wschodu, fot. ZeroJeden, VII 2012
zachowało się jedno przęsło). Prace archeologiczne prowadzone w tym miejscu nie przyniosły rozstrzygających rezultatów w ustaleniu dokładnego wyglądu warowni.