Antes de la gran Southwold fuego de 1659, había edificios en la colina de arma de fuego. Más tarde, probablemente en 1746, los seis cañones de 18 libras Tudor visto hoy se pusieron en marcha. El Royal Armouries aparentemente dio las armas a la ciudad para proteger el transporte marítimo de ataques. Se les dispararon última en 1659 para celebrar el cumpleaños del Príncipe de Gales con resultados trágicos cuando una explosión retardada muertos James Martin, un soldado. Su fantasma que ahora se conoce como el Espíritu de Gun Hill.