Gebouwd in het begin van de 13de eeuw, 'Gorey Castle' kijkt uit Gorey haven. Hoewel uiteindelijk vervangen als gevolg van buskruit waardoor het onverdedigbaar, het was een keer het eiland is nog maar de gevangenis en werd een garnizoen voor de Duitse troepen tijdens de bezetting, met de forten worden toegevoegd aan in combinatie met de bestaande structuur. Het kasteel heeft een uitgebreide renovatie ondergaan, re-opening in 2006, en is nu een van de best bewaarde kastelen in Groot-Brittannië. Het is een veel gefotografeerd site en een ideale omgeving voor middeleeuwse drama en re-enactments.