השלים את המשפט הבא: "מדיסון סקוור גארדן" קיבל את שמו ממקום הבניין הראשון בשם זה, שנמצא בפינה הצפון-מזרחית של שדרת מדיסון ברחוב 26, מול הפארק. הגן הראשון היה טרמינל רכבת לשעבר של קו הראשי של שדרת פארק, שהופך למקום קרקס באוויר הפתוח על ידי פי. ט. ברנום בשנת 1871 והוסבר ל"מדיסון סקוור גארדן" בשנת 1879. (בניין ביטוח החיים של ניו יורק מחזיק כעת את כל רחוב העיר הזה.) הגן המקורי נהרס בשנת 1889 והוחלף על ידי
ארינה חשוכה חדשה שתוכננה על ידי סטנפורד וייט שנפתחה בשנה שלאחר מכן. בגן השני הייתה פסלת ברונזה של האלילה הרומית דיאנה על מגדל הזירה הספורטיבית. כאשר היא עברה לבניין חדש ברחוב 50 ובשדרות השמינית בשנת 1925, היא שמרה על שמה הישן. מדיסון סקוור גארדן ממוקם כיום בשדרות השמינית בין רחוב 31 לרחוב 33, אך עדיין שומר על השם.