Taunton Castle fu costruito nei primi anni del 12 ° secolo, come una roccaforte e centro amministrativo per i Vescovi di Winchester. Il castello è stato migliorato di circa 1240, con le nuove ali e uffici aggiunto così come un gateway per la casa di tesoreria e erario. Il mastio è stato smantellato dopo il restauro e la Sala Grande utilizzato per Assise, con i ribelli di essere tentato dal giudice Jeffries. L'edificio è stato nuovamente restaurato nel Anni 1780 e nel 1874 è stato acquisito il Somerset Archeologico e di Storia Naturale Società per impedire la sua demolizione.