In de 12e eeuw, toen het huis uit weinig meer bestond dan de pele toren, was het eigendom van de familie de Morville (een van de beruchte leden van deze familie, Hugh de Morville, was een van de vier ridders die Thomas Becket in de kathedraal van Ceterbury in 1170 vermoordden).
Hugh de Morville hielp Thomas Becket vermoorden bij de kathedraal van Ceterbury.