Whitby Museum is eigendom van en wordt beheerd door de Whitby literaire en filosofische Society, opgericht in 1823 en heeft momenteel meer dan achthonderd actieve leden. De oudere delen van het museum worden vaak beschouwd als een 'museum in het museum' en bieden een fantastisch Edwardian milieu, voor het gekabbel van de prachtige kunstvoorwerpen en foto's op elkaar. Er is een kostuum galerij, collegezaal en tearoom binnen het museum.