Kipyego esimene rahvusvaheline esiletõstmine tuli 2005. aasta IAAF Maailma Cross Country Meistrivõistlustel.
, kus ta võitis kümne medali noorukite võistlusel, et moodustada Kenia medalide laastamine koos Augustine Choge ja Barnabas Kosgeiga. 2007. aasta Maailmakrossmeistrivõistlustel võitis ta vanemate võistlustel pronksmedali, samal ajal kui tema osalev Keni meeskond võitis meeskonnakonkursi. 2008. aastal lõpetas ta individuaalselt kümnendana ja võitis veel ühe meeskonna kuldmedali. Ta võistles ka 2008. aasta IAAF maailma kergejõustik finaalis, võites kaheksanda koha 5000 meetri rajal.