Abergavenny asub Usk jõe ja Gavenny jõekogude liiduväljal. Seda ümbritsevad peaaegu täielikult mäed ja küngad: Blorenge (559 m, 1,834 ft), Sugar Loaf, ((596 m, 1,955 ft), Ysgyryd Fawr (Suur Skirrid), Ysgyryd Fach (Väike Skirrid), Deri, Rholben ja Mynydd Llanwenarth, mida tuntakse kohalikult kui "Llanwenarth Breast". Abergavenny annab juurdepääsu lähedal asuvatele Musta mägedele ja Beaconsi rahvuspargile. Offa's Dyke Path on lähedal ja Marches Way, Beacons Valley Way ja Usk Walk läbivad kogu linna.
Mustad mäed