Les défenses du château normand original aurait été de la terre et du bois. En 1201, Skenfrith Castle a été accordée à Hubert de Burgh, une Marcher seigneur qui s'est élevé au roi justiciar. Il Skenfrith reconstruit en pierre entre 1228 et 1232. Le château se composait d'une grande salle, les quartiers privés et cuisine. Un haut mur-rideau fermé le château et il était entouré d'un large fossé. Une circulaire garder s'élevait dans le centre de zone et une tour à chaque coin.
