Leben und Karriere Willoughby wurde am 1. Mai 1921 als Sohn von Godfrey Willoughby, 11. Baron Middleton, einem Offizier der British Indian Army und dessen Frau Angela Florence Alfreda Hall († 1978) geboren.