Tai buvusi senųjų žiemgalių gyvenvietė. Pavadinimą šiam kalnui davė lietuvių kunigaikščio Žvelgaičio, istorinio asmens, minimo istoriniuose šaltiniuose XII-XIII a., vardas. Spėjama, kad jis nukariavo žiemgalius ir Žagarės pilyje įkūrė savo rezidenciją. Žvelgaičio kalno apgyvendinimo pradžia laikomas XIII a. Archeologai tyrinėdami nustatė, kad šiame piliakalnyje žmonės gyveno XIII-XVII a. legendose minima, kad egzistavo požeminis susisiekimo tunelis tarp Raktuvės ir Žvelgaičio pilių. Piliakalnis yra Švėtės upelio kairiajame krante, kairėje kelio Žagarė - N.Akmenė pusėje. Piliakalnis leidžiasi į upės Švėtės slėnį. Piliakalnio aikštelė yra netaisyklingo keturkampio formos, su vos pastebimu pylimu pakraščiuose. Archeologai, tyrinėdami šį piliakalnį, aptiko medinio pastato ar tvoros liekanų iš XIII-XVII a. Iš viso Lietuvoje saugomais yra paskelbti penki ozai. Žagarės ozas iš jų ne tik ilgiausias, bet ir įspūdingiausias, kadangi jį supančiose lygumose nėra jokių kitų kalvų ar kalnelių.