Het oudste deel van het paleis, de Toren van James V (één keer de Grote Toren genoemd), is voor velen het hoogtepunt van de bezoekers.
De toren van James V is de meest gedenkte plek voor veel bezoekers.