Milnor sündis 20. veebruaril 1931 Orange'is, New Jerseys. Ta oli Princeton'i ülikooli bakalaureuseõpilane, kellele anti Putnam Fellow'i auhind aastatel 1949 ja 1950 ning ta tõestas ka Fary<unk>Milnor'i teoreemi. Ta jätkas Princeton'i kraadiõppe Ralph Fox'i juhendamisel ja esitas 1954. aastal oma väitekirja pealkirjaga "Liinide isotoopia", mis puudutas sidegruppe (klassilise sõlme rühma üldistamist) ja nendega seotud sidestruktuuri. Lõpetades doktorikraadi, läks ta tööle Princeton'i. Ta oli professorit Institute for Advanced Study'is 1970-1990.
Orange, New Jersey