Pantano oli valmis tegema oma Formula 1 debüüdi Jaguarile, kuid kaks päeva enne, kui ta pidi meeskonnaga alla kirjutama, sõlmisid nad lepingu Christian Klieniga, kes suutis Red Bullilt 10 miljonit dollarit rahastada. Selle asemel sõlmis itaallane lepingu Jordani Formule 1 meeskonnaga 2004. aasta alguses ja pärast minimaalset testimist oli tema hooaeg probleemne. Ta lõpetas Melbourne'i esimeses võistluses viimasena, samas kui tema kogenum meeskonnakaaslane Nick Heidfeld lahkus ülekandmise probleemiga. Ta jätkas võidusõitu, ei suutnud kunagi kvalifitseeruda ega lõpetada kõrgemal kui välja taga, ja ta lahkus mitmel korral, ei suutnud palju tähelepanu tõmmata. Ta asendati ühekordselt Saksa debüütand Timo Glockiga (majanduslikel põhjustel) Kanada Grand Prix'l.
, kes tegi kaks punkti, lõpetades seitsmenda, ees meeskonnakaaslase Nick Heidfeldi, kes oli kaheksas. Pantano naasis oma kohale meeskonnas järgmiseks võistluseks Indianapolis, kuid kukkus esimeses kurvis välja pärast kokkupõrget teiste juhtidega. Ta jätkas pettumust tekitavate tulemustega kuni Itaalia Grand Prix'ni Monzas, pärast mida ta asendati Timo Glockiga hooaja ülejäänud kolmes võistluses. Pantano avaldas hiljem, et see oli tema enda valik lõpetada võidusõidu Jordani tõttu rahaline koorem asetatud tema perele ja tema enda tundeid, et meeskond oli eelistades oma meeskonnakaaslane Heidfeld teda. Pantano oli seotud Formula 1'i naasmisega Campos Metaga, kuid meeskond kinnitas, et Bruno Senna ja Karun Chandhok liituvad meeskonnaga.