Piliakalnis datuojamas XIV a. Jo šlaitai statūs, į upių slėnių pusę – 25–30 m aukščio. Jame stovėjo pilis, kurios apylinkes 1377 m. ir 1382 m. puolė kryžiuočiai. Alytaus pilis rašytiniuose šaltiniuose minima 1384 m. ir 1387 m. Prie piliakalnio 1 ha dydžio plote buvo VII–XII a. gyvenvietės likučiai su 60 cm storio kultūriniu sluoksniu, kuri buvo tyrinėta 1985–1986 m. Joje buvo rasta sudegusių pastatų liekanų, ūkyje naudojamų dirbinių, kalavijo galas, pentinas su spygliu.

Visiškai netoli piliakalnio yra senojo geležinkelio tilto (statyto 1899 m.) griuvėsiai. Nuo piliakalnio ir pylimo atsiveria miesto panorama. Čia įrengta poilsio zona su pavėsinėmis, laužavietėmis, vaikų žaidimo aikštelėmis ir pasivaikščiojimo takais, kurie jus nuves iki Klebono akmens, esančio Nemune