Kipyego esimene rahvusvaheline esiletõus tuli 2005. aasta IAAF Maailma Ristijooksu Meistrivõistlustel, kus ta võitis hõbemedaali noorukite võistlusel, moodustades Kenia medalide laadi koos Augustine Choge'iga ja Barnabas Kosgeiga. 2007. aasta Maailmasõidu meistrivõistlustel
Ta võitis seniorite võistlusel pronssmedali, samal ajal kui tema osalev Keni meeskond võitis meeskonnakonkursi. 2008. aastal lõpetas ta individuaalselt kümnendana ja võitis veel ühe meeskonna kuldmedali. Ta võistles ka 2008. aasta IAAF maailma kergejõustik finaalis, võites kaheksanda koha 5000 meetri rajal.