Neviarouski tegi oma olümpiamängude debüüdi 2004. aasta Ateena suveolümpiamängudel, kus ta osales kahes ujumisvõistluses. 100 m vabas stiilis
, võistles ta viiendal soojusel seitsme teise ujujaga, sealhulgas Leedu Rolandas Gimbutis, California Golden Bears'i ujumismeeskonna liige. Ta võitis Kreeka Aristeidis Grigoriadis'i, et võtta kolmas koht veerand võrra (0,25), ajaga 50,36 sekundit. Kaks päeva hiljem sai Neviarouski teise koha Ungari Krisztián Takács'i järel meeste 50 m vaba stiili kuuendas soojuses sajandiku sekundi võrra (0,01), kellaajaks 23,13 sekundit.