ramenné záznamy o Hannebergu (1595), Hartknochu (1684) a ""Univerzální encyklopedii"" Samuela Orgelbranda (1861) uvádějí, že zámek v Ełku byl postaven v roce 1273 za vlády velmistra von Sangershausen. Jiné datum se objevuje v kronice Jana z Posilge, pomezanského úředníka z přelomu čtrnáctého a patnáctého století. Podle něj byl hrad postaven v roce 1398 tehdejším velitelem z Balgy Ulricha von Jungingen na území dobytých jotvingských zemí.
Nachází se na ostrově Ełckého jezera, na troskách bývalého jotvingského osídlení, zpočátku byl dřevěný, v letech 1406-1408 byl přeměněn na zděnou budovu. Posádku tvořilo několik ozbrojených a sluhů pod velením starosty. Hrad měl být využíván pro vojenské a zpravodajské operace v Litvě. Po bitvě u Grunwaldu byla strážní věž Ełk obsazena
Widok z lotu ptaka od południowego-wschodu, fot. ZeroJeden, IX 2012
polskými vojsky a v roce 1415 ji němečtí žoldnéři na čas zastavili vévodovi mazovskému. Po melenském míru (1422) se Němečtí rytíři rozhodli kolonizovat oblast kolem hradu a v roce 1425 vydali zákon o umístění pro nájemní vesnici. Během třináctileté války byl hrad Ełk opět dobyt polskou armádou a zcela zničen. Byla přestavěna a posílena na konci patnáctého století.
Před sekularizací teutonského státu tvořilo posádku hradu 22 ozbrojených osob a samotný hrad se skládal z jedné hlavní budovy a jedné další budovy, která sloužila jako předhradí. Na východní straně ostrova, která byla blíže k městu, se nacházela hlavní budova a strážní věž, na západní straně byly hospodářské budovy a stáje. Když v roce 1525 kníže Albrecht sekularizoval teutonský stát, byly stávající komendy a řádové komendy přejmenovány na starosty. Takový starosty byl
Zamek w Ełku na zdjęciu z 1915 roku
zřízen i v Ełku, se sídlem na zdejším zámku. Sídlily zde také soudní úřady: Úřad spravedlnosti (1751), Okresní komise spravedlnosti (1782), Okresní a Městský soud (1818), Krajský a okresní soud (1879).
Ve svých zdech hrad hostil i takové významné hosty, jako byl ruský car Alexandr I. a Napoleonův maršál Ney. K hradu se váže také legenda, že je s městem spojen podzemním tunelem, který vede pod dnem jezera k nedalekému kostelu. Říká se, že díky této procházce našlo obyvatelstvo města útočiště ve zdech hradu, když během ?švédské potopy? okolní oblasti byly vpadly do Tatarů ve službách polského krále. Mnohokrát také sloužil jako úkryt pro obyvatelstvo při požárech, které Ełk často sužovaly, až nakonec 25. června 1833 padl za oběť i tomuto živlu. Z bývalé zámecké budovy se dochovaly pouze obvodové zdi a její dřívější podoba, zničený interiér byl později adaptován pro jiné účely.
V zámecké zahradě bylo v devatenáctém století vybudováno vězení. Brzy na
Zdjęcie lotnicze, fot. ZeroJeden, IX 2023
ně byly přeměněny i zbytky hradu. Byla obehnána zdí, v rozích byly umístěny strážní věže. Zámek Ełk sloužil po druhé světové válce také jako vězení, a to až do roku 1970.
Hradní ostrov, kdysi spojený s pevninou zatahovacími dřevěnými mosty, je nyní spojen se západním břehem jezera hrází postavenou na konci 19. století a s městem mostem postaveným na začátku 20. století.
Místní úřady v Ełku v současné době pracují na možnostech obnovy a přestavby hradu, který by se po obnovení své bývalé slávy opět stal jedním z výkladních skříní města.