Stein is gebore aan Nathan Stein en Anna Hirschler, 'n Joodse egpaar wat in Boedapest in die Oostenrykse-Hongaarse Ryk gewoon het. Sy ouers en sy suster het hul Joodse geloof behou, maar Stein en sy broer, Ernst Eduard, is gedoop as Lutherane, blykbaar om hulle te bevry van die antisemitisme wat hulle toegang tot onderwys en vooruitgang sou ontken het. By die huis het die gesin Duits en Hongaars gepraat, die taal van die Hongaarse nasionalistiese herlewing in die 19de eeu, en Stein was trots op hierdie erfenis vir die res van sy lewe. Hy het Katolieke en Lutherse gimnasiums in Boedapest bygewoon, waar hy Grieks, Latyn, Frans, Engels en Poenjaars bemeester het voordat hy gevorderde studies aan die Universiteite van Wene, Leipzig en Tübingen onderneem het. Hy het Sanskrit en Persies gestudeer en sy Ph.D. van 1883 ontvang.
Joodse