Norman de resten van de burcht Bungay zijn te vinden in het centrum van Bungay verborgen achter het winkelcentrum naast het Buttercross. Het kasteel dateert van rond 1165 en is de op een na te bouwen op de site. Een motte werd opgericht in ongeveer 1100, maar werd verwijderd en vervangen door een massale Norman houden gebouwd door Hugh Bigod. Vandaag slechts twee torens en een deel van de vliesgevel blijven. De toegang is via een nieuwe thee-winkel en bezoekerscentrum officieel geopend in juli 2000.