Brougham Castle wurde innerhalb der Familie weitervererbt und diente zeitweilig auch als Residenz. 1592 aber befand es sich in einem Stadium des Verfalls, weil George Clifford in seiner Rolle als Queen's Champion mehr Zeit im Süden Englands verbrachte.