Pärast lõpetamist 1979. aastal läks Rometty tööle General Motors Institute'i Detroiti, kus ta vastutas rakenduste ja süsteemide arendamise eest. 1981. aastal liitus ta IBM'iga kui süsteemide analüütik ja süsteemide insener Detroitis. Algul töötas ta klientidega kindlustusvaldkonnas, veetis ta oma esimesed kümme aastat IBM-is tehnilistes ametikohtades. New York Times kirjutab, et ta "liikus kiiresti juhtivatel töökohtadel", kus ta töötas klientidega kindlustus-, pangandus-, telekommunikatsiooni-, tootmis- ja tervishoiuvaldkonnas. Ta veetis 1990-ndad müügis ja 1990. aastate lõpus aitas kliente nagu Prudential Financial, Inc. oma internetipõhiste funktsioonidega. Ta liitus IBM'i konsultatsioonigrupiga 1991. aastal.
1991. aasta