Las defensas del castillo normando original habría sido de la tierra y la madera. En 1201, Skenfrith Castle se concedió a Hubert de Burgh, un Marcher señor que pasó a convertirse en rey de justiciar. Skenfrith reconstruyó en piedra entre 1228 y 1232. El castillo consistía en una gran sala, cocina y cuartos privados. Un alto muro de cortina cerrado el castillo y es rodeado por un gran foso. Una circular fue mantener en la zona centro y una torre en cada esquina.