לאחר שעבר לניו יורק הוא התאמן בתחילה כטכנאי רדיו והתעניין במתמטיקה. הוא סיים את לימודיו באוניברסיטת קולומביה עם תואר ראשון ב-1949 ותואר שני ב-1950, שניהם במתמטיקה, והצטרף ל-IBM בשנת 1950. בשלוש השנים הראשונות שלו הוא עבד על מחשב אלקטרוני ברצף סלקטיבי (SSEC); הפרויקט הגדול הראשון שלו היה לכתוב תוכנית לחשב את עמדות הירח. בשנת 1953 פיתח באקוס את שפת Speedcoding, השפה הראשונה ברמה גבוהה שנוצרה עבור מחשב IBM, כדי לסייע בפיתוח תוכנה עבור מחשב IBM 701. התכנות הייתה קשה מאוד באותה עת, ובשנת 1954 ארגן באקוס צוות לפתח ולגדיר את Fortran עבור מחשב IBM 704. Fortran הייתה שפת התכנות ברמה גבוהה הראשונה שהושמשה באופן רחב שאלה: מה הם תעודות הלימוד שלו?
אוניברסיטת קולומביה עם תואר ראשון ב-1949 ותואר שני ב-1950, שניהם במתמטיקה