Tema hooaja tipp oli 2004. aasta Ateena olümpiamängudel, kus ta sai esimeseks inimeseks Eritrea spordi ajaloos, kes võitis olümpiamedaali. Zersenay võitis Ateenas 2004. aasta suveolümpiamängudel Kenenisa Bekele ja Sileshi Sihine'i taga bronsi 10,000 meetri distantsil. Tema tulemus 27:22,57 oli dramaatiline paranemine, kuna ta oli oma eelmise parima kümne sekundi võrra ületanud, hoolimata ebasoodsatest soojadest tingimustest. Zersenay keeldus oma medali võitmist oma etiooplaste kolleegide taga politiseerimisest, öeldes: "me oleme alati olnud etiooplaste sõbrad. Nüüd oleme me rahvas... Ma võin öelda, et olen väga õnnelik". Ameerika Ühendriike esindav Eritreas sündinud jooksja Meb Keflezighi võitis maratonil hõbeda
Mõned päevad hiljem, rõhutades riigi paranevaid standardeid. Zersenay lõpetas oma esimesed olümpiamängud, jõudes veel ühe võistluse finaali: ta võitis seitsmenda koha meeste 5000 meetri võidujooksus, kinnitades oma positsiooni maailmatasemel jooksjana.