Lee kvalifitseerus kahe ujumisvõistluse jaoks 2004. aasta Ateena suveolümpiamängudel, ületades FINA B-standardse sisenemise aja 22,95 (50 m vaba stiil) ja 51,84 (100 m vaba stiil) Seuli Dong-A ujumisturniirilt. 100 m vabas stiilis
, Lee kutsus välja seitse teist ujujat kolmandas soojuses, sealhulgas olümpiamängude veteran Carl Probert Fidžilt. Ta jagas teise seemne ja neljakümne viienda kohaga Panama Ismael Ortiz'iga 51.74. Teisel võistlusel, 50 m vabastiilis, sai Lee hommikuse esialgu 35. koha. Seitsmendas soojuses ujus ta neljandat kohta 0,15 sekundi võrra Serbia ja Montenegro Milorad Čavićist 23,05 minutiga.