Un castello fu costruito qui da Macbeth, che è stato distrutto da Malcolm Canmore nel 1057. Oggi il sito è composto da una fortezza costruita nel 1835 per ospitare la Sheriff Court e il Dipartimento di Polizia, una funzione che svolge ancora oggi. Inverness Castle è situato nel centro della città e si siede su una bassa scogliera, sulla riva orientale si affaccia sul fiume. La Drum Tower of Inverness Castello ospita una mostra raffigurante il castello storia ed è aperto tutti i giorni durante la stagione estiva.