2004. aasta Ateena suveolümpiamängudel jätkas Alleyne oma programmi, kvalifitseerudes kahele ujumisvõistlusele. Ta saavutas FINA B-standardist 51,89 (100 m vabas stiilis) ja 1:53,19 (200 m vabas stiilis) aeg Pan Ameerika mängudel Santo Domingos Dominikaani Vabariigis. 200 m vabastiilis võitis Alleyne kolmandas soojuses seitse teist ujujat, sealhulgas kahel korral olümpiavõitja Joshua Ilika Brenner Mehhikost ja Giancarlo Zolezzi Tšiilist. Ta võitis Alžeeria Mahrez Mebareki, et võtta kolmas koht ja kolmekümne neljas üldine 0.11 sekundit 1:52.89. Teisel võistlusel, 100 m vabas stiilis
, Alleyne asus neljakümne kaheksas üldine hommikul esialgu. Kolmandas soojuses ujus Alleyne oma 51.89 minutiga, et päästa viies koht Zolezzi kaasmaalase Max Schnettleri ees 0.02 sekundi võrra.