في عام 1311 ، حصل روبرت على ترخيص لتخزين القصر من إدوارد الثاني من أجل تحصين منزل القصر ، وتم تحويل المبنى السابق الأكثر تواضعًا إلى قلعة بين عامي 1311 و 1322. تقول التقاليد المحلية أن الحجر تم الحصول عليه من محجر في موقع ما هو الآن بركة ملبورن. تظهر السجلات أن الحجر تم الحصول عليه من محجر في عام 13131314 ، وقد تم إنفاق 313 جنيه إسترليني على المشروع في عام 1315 ، من بينها 548 جنيه إسترليني تم دفعها إلى البناءين لتلبيس الحجر. شارك العديد من البناءين العاملين في المشروع في شجارة في رايفنستون في عام 1315. تم بناء المباني الوسطى الهامة في ملبورن من أساس الحجر المحلي ، ميلستون جريت. هذا هو مبنى ذو حجر مدببة يمكن استخدامه لإنتاج رماد جيد الجودة. تم إعادة تصميم القرية بالقرب من كنيسة إدوارد الثاني إدوارد الثاني. تم إعادة إن
المضيف