Seine Affäre mit der verheirateten Lady Caroline Lamb (1785–1828) wurde zum Skandal der Saison, und nach Ende der Beziehung begannen auch die ersten Gerüchte über eine inzestuöse Beziehung zu seiner Halbschwester Augusta Leigh.