Gebouwd in 1432 door Sir John Falstaff, Caister Castle was slechts een van de vijf van dergelijke licenties verleend door Henry VI. Het is een indrukwekkende moated baksteen vierhoek fort op de site van een vroegere versterkte herenhuis. Met een hoog gordijn muur geflankeerd door vierkante en ronde torens is compleet met gunloops. Op de hoeken zijn terug open ronde bastions met pijl loops. Het kasteel en de gronden zijn ook de thuishaven van de grootste prive-collectie van motorvoertuigen in Groot-Brittannië.