a počátku 13. století existovala v Oleśnici jistě kastelánská dřevěná pevnost. Prvním cihlovým prvkem byla válcová věž o průměru 11 metrů, postavená v rámci jejího opevnění na přelomu třináctého a čtrnáctého století. Na počátku čtrnáctého století vzniklo olešnické knížectví, a tak bylo nutné rozšířit knížecí sídlo. Učinil tak před polovinou čtrnáctého století kníže Konrád I., když postavil velký zámek na půdorysu připomínajícím čtverec o straně téměř 50 metrů, který měl hlavní obytné křídlo podél severozápadní opony hradeb a menší křídlo při jihozápadní oponě. V jižním nároží stála čtyřboká věž a válcová věž umístěná ve východním nároží chránila vchod umístěný v severovýchodní oponě. Hrad se nacházel v linii městského opevnění, ale byl také obklopen z městské strany příkopem. Stavební práce na těchto prvních základech byly zahájeny ještě před koncem čtrnáctého století.
Po roce 1492, po smrti posledního olešnického knížete, byl hrad v českých rukou. V roce 1542 zahájil vévoda Jan z Poděbrad přestavbu rezidence v renesančním slohu přestavbou severozápadního křídla. Později bylo podle návrhu Franciszka Parra postaveno východně od hradeb nové křídlo, zvané Vdovský dům, a
Dziedziniec na zdjęciu z 1 połowy XX wieku
válcová věž byla zvýšena osmiboce a zakončena renesanční helmicí. Další kníže, Karel II. z Poděbrad, rezidenci rozšířil v letech 1585-1610 a na práce byl najat architekt Bernard Niuron. U válcové věže byla vybudována dvě nová křídla - nejprve jihovýchodní, poté severovýchodní se vstupní branou, která byla propojena s domem vdovy. Celý komplex byl obklopen novodobým opevněním zemních bastionů.
V letech 1613-1616 byla vybudována krytá pavlač, spojující zámek s farním kostelem, kde se nacházela knížecí lóže. V sedmnáctém a osmnáctém století proběhly drobné stavební práce, které daly hradu barokní výzdobu, v devatenáctém století bylo přestavěno severovýchodní křídlo. V letech 1896-1901 byl zámek obnoven a J. Maas, který práce vedl, se rozhodl obnovit jeho renesanční podobu.
Během druhé světové války neudržovaný zámek trochu chátral, ale rekonstrukce v letech 1970-1976 mu vrátila jeho bývalou slávu. V zámku sídlí muzeum a další kulturní instituce.