Kilve spiaggia è famosa per le sue formazioni rocciose esposte e fossili, ed è stato designato un sito geologico di specifico interesse scientifico. La spiaggia e rocce circostanti sono costituite da strati di calcare e petrolio-cuscinetto scisto, che risale a circa 200 milioni di anni fa, ma contiene alcune delle ammoniti prima di essere registrato nel Regno Unito durante la metà del periodo giurassico. William Wordsworth, che ha vissuto per un breve periodo di tempo a Alfoxden nella vicina Casa Holford, ha descritto la spiaggia come 'Kilve la deliziosa spiaggia' e la sua poesia, per Anecdote Padri.
