Les Normands fondé Grosmont probablement avant 1100. C'était l'un des trois châteaux accordée à Hubert de Burgh en 1201, il a reconstruit le château de terre et de bois de la pierre. Le haut des murs-rideaux et trois tours ont été ajoutées autour de 1230, bien que le nord de la tour a été démolie dans le 14ème siècle. Il y avait des ajouts concernant le château dans le 14ème siècle par les comtes de Lancastre notamment une hauteur de cheminée et une extension à la guérite d'incorporer un pont-levis.
