Er wurde als John Stuart-Wortley als ältester Sohn von James Stuart-Wortley, 1. Baron Wharncliffe und dessen Frau Elizabeth Crichton, einer Tochter von John Crichton, 2. Earl Erne und dessen Frau Mary Caroline Hervey geboren.