Hellmut Stern sündis Berliinis juudi perekonnas. Tema isa, Dittmar Stern, oli hääleõpetaja ja tema ema, Ilse Rose Stern, oli pianist. Tema ema õpetas teda klaverit mängima alates viiest eluaastast. Ta käis Wilmersdorfis juudi koolis, kus üks patroon annetas kõige andekamatele õpilastele viiuli, mille ta sai 9-aastaselt. Perekond püüdis emigreeruda alates 1933. aastast. Pärast novembri pogromit
1938. aastal põgenesid nad Berliinist Harbini, nüüd Hiinas, kus tema ema oli saanud väljamõeldud lepingu pianistiks. Pagulastena aitas Stern perekonna sissetulekul, mängides baaris, ööklubides ja hotellis. 1948. aastal emigreeris pere Iisraeli. 1951. aastal kohtus ta Jeruusalemma King David'i hotelli baaripianistina Isaac Sterniga, kes korraldas tema jaoks Tel Avivi Iisraeli filharmooniaorkestri prooviesinemise. Ta võitis oma esimese orkestri postituse teise viiuljana.