I Normanni Grosmont fondata probabilmente prima del 1100. E 'stato uno dei tre castelli concessi a Hubert de Burgh nel 1201, ha ricostruito l'originale castello di terra e legno e pietra. La cortina di mura alte torri e tre sono stati aggiunti circa 1230, anche se il nord della torre fu demolita nel 14 ° secolo. Ci sono state inoltre aggiunte al castello nel 14 ° secolo dal earls di Lancaster compreso un alto camino e una proroga per la gatehouse a includere un ponte levatoio.