Middlehami Neville'ide pärandist sai vaidluseks kuningas Eduardi vendade Richard, Gloucesteri hertsogi ja Clarence'i vahel, kes olid enne Barnet'i lahingut tagasi perekonnale tulnud. Clarence, kelle nõue põhines tema abielul Isabel Neville'iga, sai Warwick'i ja Salisbury krahvkonna. Gloucester omandas vanad Neville'i valdused põhjas, kinnitades oma nõude abielludes Anne Neville'iga, kes oli jäänud leseks prints Eduardi surma tõttu Tewkesbury lahingus Lancastri lõplikus kaotuses.
aastal 1471. Neville'ilt päritud põhjapoolsed maad ja kliendid muutusid Gloucesteri peamiseks võimubaasiks ja ta võttis Middlehami lossi oma peamiseks elukohaks kuni trooni usurpeerimiseni Richard III-ks aastal 1483.