כתוב המשך לפרק זה - לאחר ההצלחה של משחקי 1896 האולימפיאדה נכנסה לתקופה של היציבות שאיימה על הישרדותה. המשחקים האולימפיים שהתקיימו בתערוכה בפריז בשנת 1900 ובתערוכה של רכישת לואיזיאנה בסנט לואיס בשנת 1904 לא הצליחו למשוך הרבה השתתפות או תשומת לב. מתוך 650 הספורטאים באולימפיאדת 1904, 580 היו אמריקאים; הזוכה במרתון
מאוחר יותר הודח לאחר שהתגלתה תמונה שלו רוכב במכונית במהלך המירוץ. המשחקים החלו מחדש עם משחקי 1906 (הנקראים כך משום שהם היו האולימפיאדה השנייה שהתקיימה בתוך האולימפיאדה השלישית), שהתקיימו באתונה. המשחקים האלה משכו קהל רחב של משתתפים בינלאומיים ויצרו עניין רב בציבור, מה שסימן את תחילתו של עלייה הן בפופולריות והן בגודל האולימפיאדה. משחקי 1906 הוכרו באופן רשמי על ידי ה- IOC באותה עת (אם כי לא יותר), ומאז לא נערכו משחקי אינטרקלציה.