Hoolimata sellest, et Roberto Clemente mängis Pittsburgh Pirates'is ja oli juba pikka aega Pittsburghis, nõudis ta, et ta naine Vera tuleks Puerto Ricosse tagasi, et Roberto Jr. saaks seal sündida päev enne tema sünnipäeva. Clemente veetis esimesed seitse eluaastat Puerto Rico ja Pittsburghi vahel. Tema isa hukkus 31. detsembril 1972 õnnetuses, kui ta viis Nicaraguas toimunud maavärinast abi
ohvrid. Pärast isa surma sai Roberto Jr. pere esindajaks, kui tema ema Vera ei olnud saadaval.