Pärast 1896. aasta olümpiamängude edukust sattus olümpiamängud stagnatsiooniperioodisse, mis ohustas nende ellujäämist. Olümpiamängud, mis toimusid Pariisi ekspositsioonis 1900. aastal ja Louisiana ostuekspositsioonis St. Louis'is 1904. aastal, ei toonud kaasa suurt osalemist ega tähelepanu. 1904. aasta olümpiamängudel osales 650 sportlast, kellest 580 olid ameeriklased; maratoni võitja
Hiljem diskvalifitseeriti ta pärast seda, kui avastati pilt, kus ta sõidab autos võistluse ajal. 1906. aastal toimusid Ateenas Interkalaarsed mängud (näiteks olümpiamängud, mis toimusid kolmandas olümpiamängus). Need mängud tõid kaasa osalejate laia rahvusvahelist valdkonda ja tekitasid suurt avalikku huvi, mis tähistas olümpiamängude populaarsuse ja suuruse tõusu algust. 1906. aasta olümpiamänge tunnustas tol ajal ametlikult Rahvusvaheline Olümpiakomitee (kuigi enam mitte) ja pärast seda ei ole ühtegi interkalaatilist olümpiamänge peetud.