Het paleis, dat door de generaties heen sterk is veranderd, werd over het algemeen alleen gebruikt als residentie in tijden van dynastisch belang of gevaar, toen Holyrood, in het laagland, moeilijk te verdedigen was.
Het paleis was alleen een huis als er een bedreiging was.