Le difese del castello normanno originale sarebbe stato della terra e del legname. Nel 1201, Skenfrith Castle è stato concesso a Hubert de Burgh, un Marcher signore, che è salito a diventare re justiciar. Skenfrith ha ricostruito in pietra tra 1228 e 1232. Il castello era costituito da una grande sala, cucina e privati quarti. Un alto muro cortina allegato il castello ed era circondata da un ampio fossato. Una circolare mantenere sorgeva nel centro area e di una torre ad ogni angolo.
