Taunton castillo fue construido a principios del siglo 12 como un baluarte y centro administrativo de los Obispos de Winchester. El castillo fue en torno a la mejora de 1240, con nuevas alas y oficinas añadido, así como una puerta de entrada a la casa de tesorería y erario. El mantener se desmanteló después de la Restauración y el Gran Salón utilizados para Assises, con los rebeldes que están siendo juzgados por el Juez Jeffries. El edificio fue restaurado de nuevo en 1780 y en 1874 fue adquirido el ser Somerset Arqueológico y de Historia Natural de la Sociedad para evitar su demolición.