גרנט נולד בניו יורק, בניו יורק, בנו של גבריאל גרנט, רופא וכירורג במלחמת האזרחים האמריקאית, וקרוליין מניס. אמו של מדיסון גרנט הייתה צאצאיו של ג'סי דה פורסט, הוגנוט הוולוני שבשנת 1623 גייס את קבוצת המתיישבים הראשונה שהתיישבה בניו נדרלנד, שטח הרפובליקה ההולנדית בחוף המזרחי של אמריקה. מצד אביו, אבותיו האמריקאים הראשונים של מדיסון גרנט היו ריצ'רד טרייט, דיקן של כנסיית פיטמינסטר באנגליה, אשר בשנת 1630 היה אחד המתנחלים הפוריטנים הראשונים של ניו אינגלנד. אבותיו של גרנט דרך קו של טרייט כוללים את רוברט טרייט (מושל קולוניאלי של ניו ג'רזי), רוברט טרייט פיין (חתום על הכרזת העצמאות), צ'ארלס גרנט (סבו של מדיסון גרנט, ששימש קצין במלחמת 1812), וגבריאל גרנט (אביו של מדיסון), רופא מפורסם ומפכ"ל הבריאות של ניוארק, ניו ג'רזי. ד"ר גבריאל גרנט הוענק את מדליית הכבוד בזמן ששימש כ מנתח עם המתנדבים שני ניו ג'רזי במלחמת האזרחים. במהלך קרב פייר אוקס
הוא העביר את הפצועים למקום מבטחים בזמן שהוא היה תחת אש כבדה. גרנט היה תושב ניו יורק.