סטיין נולד לנתן סטיין ואנה הירשלר, זוג יהודי שהתגורר בבודפשט באימפריה האוסטרו-הונגרית. הוריו ואחותו שמרו על אמונתם היהודית, אך סטיין ואחיו, ארנסט אדוארד, הוטבלו כלותרנים, ככל הנראה כדי לשחרר אותם מאנטישמיות שהייתה מונעת מהם גישה לחינוך וקידום. בבית המשפחה דיברה גרמנית והונגרית, שפה של התחדשות הלאומנית ההונגרית במאה ה-19, ושטיין היה גאה במורשת זו למשך שארית חייו. הוא למד גימנזים קתוליים ולותרניים בבודפשט, שם למד יוונית, לטינית, צרפתית, אנגלית ופונגרית לפני שהמשיך ללמוד במחקרים מתקדמים באוניברסיטאות וינה, לייפציג וג'ובינגן. הוא למד סנסקריטית ופרסית וקיבל את הדוקטורט שלו. ב-1883. בשנת 1884 הלך סטיין ואחיו לאהורינס סטיין, ככל הנראה כדי לשחרר אותם
יהודי.