Abergavenny Kasteel was oorspronkelijk een houten gebouw, maar werd herbouwd in de 13e en 14e eeuw in steen. Vandaag de dag kan de bezoeker wandelt vrij rond de indrukwekkende ruïnes van de burcht die over de bergen rondom het uitlenen hij een mysterieuze en spookachtige sfeer als het mistig is. Het kasteel was de zetel van de middeleeuwse heren van Abergavenny en was daarom een doelwit tijdens oorlogsvoering. Er is een oud jagershuis in het kasteel dat nu dienst doet als het plaatselijke museum.