i 1529 begynte arbeidet med et tårn og kongelige leiligheter for james og hans kone, mary of guise, som nå utgjør den vestlige delen og tårnet i det nåværende palasset
den vestlige delen og tårnet pleide å være jakobs og marias residens
de gamle kongelige leilighetene er for lenge siden blitt ødelagt