Die Abwehr der ursprünglichen Burg Norman hätte der Erde und Holz. In 1201, Skenfrith Castle gewährt wurde an Hubert de Burgh, ein Fürst, Marcher stieg zum König der justiciar. Er umgebaut Skenfrith in Stein zwischen 1228 und 1232. Die Burg bestand aus einem großen Saal, Privaträume und Küche. Eine hohe Mauer umschlossen Vorhang der Burg, und es war umgeben von einem breiten Wassergraben. Eine kreisrunde halten stand in der Mitte und einem Turm an jeder Ecke.