i det 12. århundre, da huset bestod av lite mer enn pele tårnet, var det eid av de morville familien (en av de mer beryktede medlemmene av denne familien, hugh de morville, var en av de fire riddere som myrdet thomas becket i ceterbury cathedral i 1170
hugh de morville hjalp til med å drepe thomas becket i ceterbury cathedral
huset hadde blitt en stor struktur på 1200-tallet, og de morville familien ikke hadde råd til å kjøpe det