Os defesas do castelo normando original teria sido de terra e madeira. Em 1201, foi concedido a Skenfrith Castelo Hubert de Burgh, um lorde Marcher que subiu para se tornar rei da justiciar. Ele Skenfrith reconstruída em pedra entre 1228 e 1232. O castelo consistia de um grande salão, cozinha e quartos particulares. Um alto muro cortina vedado o castelo e foi cercado por uma grande fosso. Uma circular manter ficava no centro área e uma torre em cada canto.
