Stein sündis Nathan Stein ja Anna Hirschler, juudi paar, kes elas Budapestis Austria-Ungari impeeriumis. Tema vanemad ja õde säilitasid oma juudi usu, kuid Stein ja tema vend, Ernst Eduard, ristiti luterlastena, ilmselt vabastamaks neid antisemitismist, mis oleks keelanud neile juurdepääsu haridusele ja edusammudele. Kodus rääkis perekond saksa ja ungari keelt, Ungari rahvusliku ärkamise keelt 19. sajandil, ja Stein oli uhke selle pärandi üle kogu oma ülejäänud elu jooksul. Ta käis katoliku ja luterliku gümnaasiumides Budapestis, kus ta õppis kreeka, ladina, prantsuse ja inglise keelt enne kõrgemat õpinguid Viini, Leipzigi ja Tübingi ülikoolides. Ta õppis sanskriti ja persakeelt ja sai oma Ph.D. alates 1883. aastal.
Kreeka, ladina, prantsuse ja inglise keeles