Samen met de buurt Skenfrith en Grosmont kastelen, White Castle werd gebouwd door de Normandiërs, omdat zij won de controle over het gebied van Noord-Gwent. De oudste delen van White Castle zijn de 12de eeuw gordijn muren van het binnenste ward. Het kasteel werd verrijkt in de 13e eeuw en een van de twee torens poortgebouw en de andere vier torens werden toegevoegd. De buitenste poortgebouw werd verdedigd door een ophaalbrug, portcullis en twee poorten. Het kasteel dankt zijn naam aan de witte rendering dat, zodra de buitenste muren bekleed.