Hy studeer aan die Universiteit van Columbia met 'n baccalaureusgraad in 1949 en 'n meestersgraad in 1950, albei in wiskunde, en sluit by IBM aan in 1950. Gedurende sy eerste drie jaar het hy aan die Selective Sequence Electronic Calculator (SSEC) gewerk; sy eerste groot projek was om 'n program te skryf om posisies van die maan te bereken. In 1953 het Backus die taal Speedcoding, die eerste hoëvlaktaal wat vir 'n IBM-rekenaar geskep is, ontwikkel om sagteware-ontwikkeling vir die IBM 701-rekenaar te help.
Columbia Universiteit met 'n baccalaureusgraad in 1949 en 'n meestersgraad in 1950, albei in wiskunde