1311 sai Robert Edward II-lt litsentsi kinnisvara kinnistamiseks, et kindlustada mõisa maja, ja tagasihoidlikum varasem hoone muundati linnuks aastatel 1311 ja 1322. Kohalik traditsioon ütleb, et kivi saadi kivikotist, mis asub praeguse Melbourne'i basseini asukohas. Kohalike andmete kohaselt kulutati projekti jaoks 131314 £, millest 548 £ maksti ehitustöötajatele kivi riietamise eest. Mitmed ehitustöötajad olid osalenud 1315. aastal Ravenstone'is toimunud lahingus.
kohalik aluskivi Millstone Grit