Sy moeder was Lady Anne de Grey, vierde dogter van Henry Grey, 1ste hertog van Kent, en sy vader was Lord Charles Cavendish, die derde seun van William Cavendish, 2de hertog van Devonshire. Die familie het sy afstamming oor agt eeue teruggevoer na Normandiese tye, en was nou gekoppel aan baie aristokratiese families van Groot-Brittanje. Henry se moeder is in 1733 oorlede, drie maande na die geboorte van haar tweede seun, Frederick, en kort voor Henry se tweede verjaardag, en het Lord Charles Cavendish verlaat om sy twee seuns groot te maak.
1748 Die