Voltooi die volgende sin: Grant is in New York, New York, gebore as die seun van Gabriel Grant, 'n dokter en Amerikaanse Burgeroorlog-chirurg, en Caroline Manice. Madison Grant se ma was 'n afstammeling van Jessé de Forest, die Waalse Hugenoot wat in 1623 die eerste groep koloniste gewerf het om hulle in Nieu-Nederland, die Nederlandse Republiek se gebied aan die Amerikaanse ooskus, te vestig. Van sy vader se kant af was Madison Grant se eerste Amerikaanse voorvader Richard Treat, dekaan van Pitminster Kerk in Engeland, wat in 1630 een van die eerste Puriteinse setlaars van Nieu-Engeland was. Grant se voorouers deur Treat se lyn sluit in Robert Treat ('n koloniale goewerneur van New Jersey), Robert Treat Paine ('n ondertekenaar van die Verklaring van Onafhanklikheid), Charles Grant (Madison Grant se oupa, wat as 'n offisier in die Oorlog van 1812 gedien het), en Gabriel Grant (vader van Madison), 'n prominente dokter en die gesondheidskommissaris van Newark, New Jersey. Dr. Gabriel Grant is die Medal of Honor toegeken terwyl hy as chirurg by die 2de New Jersey-vrywilligers in die Burgeroorlog gedien het. Gedurende die
In die Slag van Fair Oaks, het hy die gewondes na veiligheid verskuif terwyl hulle onder swaar vuur was. Grant was 'n lewenslange inwoner van New York.