Abergavenny is geleë by die samevloeiing van die rivier Usk en 'n sytak, die Gavenny. Dit is byna geheel en al omring deur berge en heuwels: die Blorenge (559 m, 1,834 ft), die Suikerbrood, ((596 m, 1,955 ft), Ysgyryd Fawr (Groot Skirrid), Ysgyryd Fach (Klein Skirrid), Deri, Rholben en Mynydd Llanwenarth, bekend plaaslik as "Llanwenarth Breast".
Swartberge