Kilve Chantry werd opgericht door Sir Simon de Furneaux die was in licentie te verlenen van een huis en grond in 1329, het doel dat vijf priesters kon bidden voor zijn ziel in Kilve kerk. Na het gebouw niet meer functioneren als een Chantry aan het einde van de 14de eeuw, het land werd een deel van de Kilve pastorie. Het oorspronkelijke gebouw bevatte een refectorium, stillroom, graanschuur, slaapzaal en andere monastieke kantoren, die werden gebruikt als een boerderij tot gestript door brand in de jaren 1850. Rustpunten zijn beschikbaar in de aangrenzende thee-tuin.