Paine osales 1896. aasta olümpiamängudel kõigis kolmes püstoliturniiris, kuid võistles tegelikult ainult ühes. Ta, koos oma vennaga Sumner Paine, diskvalifitseeriti kiirrelvapüstoli võistlusest, kuna tal ei olnud sobivat kaliibrit. Mõlemad Paine'id kasutasid Colt revolvereid, tulirelvi, mis olid palju paremad kui nende vastased 25-meetrise sõjaväe püstoliga.
John võitis ürituse kergesti, saades 442 punkti 25 löögi eest 30 löögist, Sumner ei olnud kaugel taga, saades 380 punkti 23 löögi eest; kolmanda koha võitja, Kreeka Nikolaos Morakis, sai vaid 205 punkti.