Deze knappe Georgische herenhuis was eens het toneel van schokkend geweld. In 1791 Clothier heer Phelps kocht een nieuwe machine gevreesd dat de werknemers zouden maken ze overbodig. Een mob geassembleerd buiten zijn huis. Stones brak Windows. Phelps vuurden op de menigte, het doden van een man, vrouw en kind. Het huis werd later in handen van Dr Richard Bethell, wiens zoon Richard Lord Chancellor was in 1861 met de titel Baron Westbury. En zo kreeg het huis zijn naam.