Ta lõpetas Columbia Ülikooli bakalaureusekraadi 1949. aastal ja magistrikraadi 1950. aastal, mõlemad matemaatikas, ja liitus IBM-iga 1950. aastal. Oma esimese kolme aasta jooksul töötas ta Selective Sequence Electronic Calculatoris (SSEC); tema esimene suur projekt oli kirjutada programm Kuu positsioonide arvutamiseks. 1953. aastal töötas Backus välja keele Speedcoding, esimene IBM arvuti jaoks loodud kõrgetasemeline keel, et aidata arendada tarkvara IBM 701 arvuti jaoks. Sellel ajal oli programmeerimine väga raske ja 1954. aastal koostas Backus meeskonna, et arendada ja määratleda Fortran IBM 704 arvuti jaoks.
Kolumbia Ülikool, bakalaureusekraad 1949. aastal ja magistrikraad 1950. aastal, mõlemad matemaatikas