In 1311 het Robert 'n lisensie verkry om die herehuis te kraneer van Edward II om die herehuis te versterk, en die meer beskeie vroeëre gebou is omskep in 'n kasteel tussen 1311 en 1322. Plaaslike tradisie sê dat die klip verkry is uit 'n steengroef op die terrein van wat nou Melbourne Pool is. Die rekords toon £1,313 is bestee aan die projek in die jaar 1313<unk>14, waarvan £548 is betaal aan masjiene vir die versiering van klip. Verskeie masjiene wat aan die projek gewerk het, was betrokke by 'n affray by Ravenstone in 1315. Die belangrike Middeleeuse geboue in Melbourne is gebou uit die plaaslike grondsteen, Millstone Grit.
die plaaslike rotsagtergrond, Millstone Grit