Os Normandos fundada Grosmont provavelmente antes de 1100. Foi um dos três castelos concedida à Hubert de Burgh em 1201, tendo sido reconstruída a terra original em pedra e madeira castelo. A alta cortina muros e três torres foram acrescentados cerca de 1230, embora a torre norte foi demolida no 14o século. Havia ainda aditamentos ao castelo no 14o século pelo earls de Lancaster incluindo uma chaminé de altura e uma extensão para o gatehouse a incorporar uma drawbridge.
