Valli is gebore as Francesco Stephen Castelluccio, op 3 Mei 1934, die oudste van drie seuns van 'n Italiaanse familie in die Eerste Afdeling van Newark, New Jersey. Sy pa, Anthony Castelluccio, was 'n barbier en vertoon ontwerper vir Lionel model treine; sy ma, Mary Rinaldi, was 'n huisvrou en bier maatskappy werknemer. Hy is geïnspireer om 'n sangloopbaan op te neem op die ouderdom van sewe nadat sy ma hom geneem het om die jong Frank Sinatra te sien by die Paramount Theater in Manhattan, New York City. Een van sy vroeë gunsteling sangers was "Texas" Jean Valli, van wie hy sy toneelnaam aangeneem het. Totdat hy homself met musiek kon onderhou, het hy as 'n barbier gewerk.
Universele Rekords