Tereny dzisiejszej Ziemi Ełckiej wchodziły we wczesnym średniowieczu w skład ziem tajemniczego plemienia Jaćwingów. Oni też na wyspie jeziora założyli pierwszą strażnicę. W tym samym miejscu, w latach 1398-1406, Krzyżacy wybudowali mały zamek. Miał on dobre położenie strategiczne oraz stanowił dobre zabezpieczenie okolicznej ludności osiedlającej się koło zamku, ale już w kilka lat po bitwie pod Grunwaldem został zburzony.