Beim Tod seines Vaters 1238 war Hugh noch minderjährig, so dass sein Onkel Geoffrey Despenser sein Vormund wurde, zudem erlaubte der König aus Dank für die Dienste seines Vaters, dass Hugh für eine Heirat keine Erlaubnis des Königs benötigte.