Op dat moment was Edinburgh nog steeds een zeer bescheiden stad, maar Davids opvolger, Malcolm IV (1153 1165), maakte van zijn kasteel zijn hoofdwoning.
Malcolm de Vierde besloot het kasteel in Edinburgh zijn hoofdwoning te maken.