Parfit sündis 1942. aastal Hiinas Chengdu linnas, Jessie Browne'i ja Norman Parfit'i poeg, kes olid kolinud Lääne-Hiinasse, et õpetada ennetavat meditsiini misjonäride haiglates. Perekond naasis Suurbritanniasse umbes aasta pärast Parfit'i sündi, asudes elama Oxfordi. Parfit õppis Eton College'is. Varases eas püüdis ta saada luuletajaks, kuid loobus luuletusest oma noorukieas. Hiljem õppis ta Oxfordi ülikoolis kaasaegset ajalugu, lõpetades 1964. aastal.
ennetav meditsiin