Milnor is gebore op 20 Februarie 1931 in Orange, New Jersey. Sy pa was J. Willard Milnor en sy ma was Emily Cox Milnor. As 'n voorgraadse student aan die Princeton Universiteit is hy in 1949 en 1950 as 'n Putnam Fellow aangewys en het hy ook die Fary<unk>Milnor-teorema bewys. Hy het voortgegaan om aan die nagraadse skool by Princeton te studeer onder leiding van Ralph Fox en het sy proefskrif, getiteld "Isotopie van skakels", wat verband hou met skakelgroepe (n veralgemening van die klassieke knoopgroep) en hul verwante skakelstruktuur, in 1954 ingedien.
Oranje, Nieu-Jersey