De Normandiërs opgericht Grosmont waarschijnlijk vóór 1100. Het was een van de drie kastelen toegekend aan Hubert de Burgh in 1201, hij herbouwd de oorspronkelijke aarde en hout kasteel in steen. De hoge gordijn muren en drie torens werden toegevoegd rond 1230, hoewel de noordelijke toren werd in de 14e eeuw. Er waren nog aanvullingen op het kasteel in de 14e eeuw door de Earls van Lancaster, waaronder een hoge schoorsteen en een uitbreiding van het poortgebouw te nemen een ophaalbrug.
