El palacio, muy alterado a lo largo de las generaciones, generalmente se usaba como residencia solo en momentos de importancia dinástica o peligro, cuando Holyrood, en las tierras bajas, era difícil de defender.
El palacio era solo una casa cuando había una amenaza porque las otras áreas del país eran susceptibles a los ataques vikingos.