Dunster Castle is gelegen atop een heuvel, met uitzicht op het dorp. De aanpak is een steile beboste lopen naar het 15de-eeuwse poortgebouw. Naast dit is ook een poortgebouw, de oudste resten van de oorspronkelijke Normandische kasteel. De Luttrell familie in het bezit waren in de late 14de eeuw, maar het grootste deel van de middeleeuwse structuur werd verwoest in 1650 en gerenoveerd in 1680. Hermodellering van Victoriaanse architect, Anthony Salvin opgenomen de Jacobean pleisterwerk en lambrisering. De toekomstige koning, Charles II, is vermaard om zijn sliepen hier in 1645.