Federer sündis Baselis, Šveitsis. Tema isa, Robert Federer, on Šveitsi-saksa päritolu Berneck St. Galleni kantonis ja ema, Lynette Federer (sündinud Durand), on Afrikaner Kempton Park, Gauteng, Lõuna-Aafrika Vabariik. Federeril on üks õde, tema vanem õde Diana, kes on kaksikute ema. Kuna tema ema on Lõuna-Aafrika, tal on nii Šveitsi kui ka Lõuna-Aafrika kodakondsus. Ta kasvas üles lähedal Birfelsdenis, Riehenis ja seejärel Münchensteinis, lähedal Prantsuse ja Saksa piiridele, ja ta räägib sujuvalt Šveitsi saksakeelset, inglise ja prantsuse keelt, samuti Itaalia ja rootsi keelt; Šveitsi saksa on tema emakeel.
Lynette.