Toen het kasteel bovenop de heuvel werd gebouwd, groeide de oorspronkelijke stad Edinburgh op deze bergklimm, en reikte in een lint van ontwikkeling naar beneden naar de abdij van Holyrood, aan de voet van de heuvel in het oosten.
Het kasteel is gebouwd op de heuvel.