Taunton Castle werd gebouwd in het begin van de 12de eeuw als een bolwerk en administratief centrum voor de bisschoppen van Winchester. Het kasteel werd rond 1240 verbeterd, met nieuwe vleugels en kantoren toegevoegd, alsmede een poort naar huis de kas en de schatkist. Het houden werd ontmanteld na de restauratie en de grote zaal wordt gebruikt voor assisen, met de rebellen te zijn berecht door de rechter Jeffries. Het gebouw werd weer hersteld in de 1780s en in 1874 werd verworven, worden de Somerset Archeologisch en Natural History Society om te voorkomen dat de sloop.