In 1529 begonnen de werken aan een toren en koninklijke appartementen voor James en zijn vrouw, Maria van Guise, die nu het westelijke gedeelte en de toren van het huidige paleis vormen.
Het westelijke gedeelte en de toren waren vroeger de woonplaats van Jakobus en Maria.