Baconsthorpe kasteel is gebouwd in de 15de eeuw als een versterkte herenhuis, en staat als een bewijs van de opkomst en ondergang van de Heydon familie, een van de meest prominente in Norfolk voor enkele honderden jaren. Vandaag alleen nog ruïnes van een groot deel van het onroerend goed, maar er zijn grote delen intact dat geeft ons aanwijzingen over hoe de familie woonde. De belangrijkste poortgebouw is in goede orde en bleef bewoond tot 1920.