Die Normannen gegründet Grosmont wahrscheinlich vor 1100. Es war eine der drei Burgen gewährt Hubert de Burgh und 1201; er umgebaut die ursprüngliche Erde und Holz Burg in Stein. Der Vorhang hohen Mauern und drei Türmen wurden rund 1230, obwohl die nördlichen Turm wurde abgerissen und das 14. Jahrhundert. Es wurden weitere Ergänzungen zu der Burg im 14. Jahrhundert von den Grafen von Lancaster einschließlich einer hohen Schornstein und eine Erweiterung des Pförtnerhaus, eine Zugbrücke.