Lubbock est le fils de Sir John Lubbock, troisième baronnet, et est élevé dans la maison familiale de High Elms, près de Downe.
Il a fait de nombreuses correspondances avec Charles Darwin, qui vivait à proximité à Downe.