Na Norfolk, Suffolk heeft de stad de borden meer dan enige andere county in Engeland. Dit vertegenwoordigt een Southwold aan de slag bij Sole Bay, gestreden voor de kust hier in 1672. Southwold gaat echter nog verder terug. De stad charter werd toegekend in de 15e eeuw en de gemeente zegel te zien is aan de bovenkant van het bord boven de schepen. Het zegel toont de gemeente het motto, "Bescherming van Uw Ryght".
