Taunton Castelo foi construída no início dos anos 12 do século como uma fortaleza e centro administrativo para os Bispos de Winchester. O castelo foi melhorada em torno de 1240, com novas asas e escritórios acrescentado, assim como uma porta de entrada para a casa do Tesouro e erário público. A manter foi desmontada após a Restauração e do Grande Hall utilizados para Assizes, com rebeldes a ser julgados por juiz Jeffries. O prédio foi restaurado novamente no 1780s e em 1874 foi adquirido a ser Somerset Arqueológico e de História Natural da sociedade para impedir a sua demolição.
