De verdediging van het oorspronkelijke kasteel Norman zou zijn geweest van aarde en hout. In 1201, Skenfrith Castle werd toegekend aan Hubert de Burgh, een Marcher lord die steeg tot koning justiciar. Hij Skenfrith in steen herbouwd tussen 1228 en 1232. Het kasteel bestond uit een grote hal, keuken en particuliere kwartalen. Een hoge vliesgevel ingesloten het kasteel en het was omgeven door een brede gracht. Een circulaire houden stond in het centrum en een toren op elke hoek.
