souvislosti s plánovaným umístěním města na levém břehu Odry v polovině třináctého století byly na speciálně upravených plochách založeny tři kláštery. Ve druhé polovině třináctého století bylo pro knížete zřízeno dvorní sídlo. Po roce 1300 bylo částečně opevněno. Přestože nástupci Jindřicha IV. trvale sídlili na tomto dvoře, neměl status oficiálního sídla princů. Po převzetí Vratislavského vévodství Čechami se král Jan Lucemburský,
fot. ZeroJeden, IX 2003
který Vratislav navštívil, také rozhodl rezidenci nerozšiřovat a využil františkánský klášter jako čtvrť. Teprve zhruba v polovině čtrnáctého století, za vlády jeho nástupce Karla IV., byla postavena zeď oddělující dvůr od města. V té době byly postaveny také tři věže a obytné budovy, celý zámecký komplex získal podobu pětikřídlého komplexu se třemi nádvořími nepravidelného tvaru. Stávající brána byla přestavěna, což bylo nazváno Císařská brána.
Četné přestavby v letech 1469, 1554, 1563, 1572-1575 a 1611 nezměnily celkovou dispozici hradu. Součástí změn jsou renesanční křížové chodby postavené v polovině šestnáctého století, které částečně obklopovaly severovýchodní a západní nádvoří.
Od poloviny šestnáctého století navštěvovali Vratislav vysocí hodnostáři stále méně často. V roce 1659 předal hrad císař Leopold I. jezuitům, kteří zde zřídili kolej. Po získání titulu v roce 1670 začali jezuité s bouráním stávajících budov a na jejich místě postavili nové budovy. V letech 1688-1689 byl na místě jižního křídla a východní části postaven
fot. ZeroJeden, III 2005
kostel a v letech 1728-1729 ustoupilo západní, střední křídlo a stožár nové budově akademie. Severní křídlo bylo zbořeno nejpozději v roce 1851.
Jediným volně stojícím pozůstatkem hradu je dnešní sakristie kostela. Kromě toho byly v mnoha částech akademického komplexu použity stávající zdi bývalého hradu, a to i ve spojnici mezi kostelem a hlavní budovou. Pozůstatky Knížecí (později Císařské) brány se dochovaly nad proraženým průchodem pod hlavní budovou.