Pichai liitus Google'iga 2004. aastal, kus ta juhtis Google'i kliendi tarkvaratoodete komplekti, sealhulgas Google Chrome'i ja Chrome OS'i tootekorraldust ja innovatsiooni jõupingutusi, samuti oli ta suuresti vastutav Google Drive'i eest. Ta jätkas erinevate rakenduste, näiteks Gmail'i ja Google Maps'i arendamist. 2009. aasta 19. novembril andis Pichai Chrome OS'i tutvustuse; Chromebook avaldati 2011. aastal katsetamiseks ja testimiseks ning avalikkusele 2012. aastal. 20. mail 2010 teatas ta Google'i uue videokoodi VP8 avatud lähtekoodi ja tutvustas uue videoformaadi WebM. 2013. aasta 13. märtsil lisas Pichai Androidi Google'i toodete nimekirja, mida ta ülevaldab.
2004. aastal juhtis ta Google'i klienditarkvara komplekti tootejuhtimist ja innovatsiooni.