סטיין נולד לנתן סטיין ואנה הירשלר, זוג יהודי שהתגורר בבודפשט באימפריה האוסטרו-הונגרית. הוריו ואחותו שמרו על אמונתם היהודית, אך סטיין ואחיו, ארנסט אדוארד, הוטבלו כלותרנים, ככל הנראה כדי לשחרר אותם מאנטישמיות שהייתה מונעת מהם גישה לחינוך וקידום. בבית המשפחה דיברה גרמנית והונגרית, שפה של התחדשות הלאומנית ההונגרית במאה ה-19, ושטיין היה גאה במורשת זו למשך שארית חייו. הוא למד גימנזים קתוליים ולותרניים בבודפשט, שם למד יוונית, לטינית, צרפתית ואנגלית לפני שעבר לימודים מתקדמים באוניברסיטאות וינה, לייפציג וג'ובינגן. הוא למד סנסקריט ופרסי וקיבל את הדוקטורט שלו ב-Ph.D. משנת 1883. בשנת 1898 הוא נשלח לאהורי לנהינגן ואח אחיו ארנסט אדוארד,
יוונית, לטינית, צרפתית ואנגלית