Madison Square Garden sai oma nime selle nimega esimese hoone asukoha järgi, mis asub Madison Avenue kirdeosas 26. tänaval, pargi vastas. Esimene aed oli endine Park Avenue'i raudtee pealinna raudteejaam, mis muutus 1871. aastal P. T. Barnum'i poolt vabaõhu tsirkuseks ja nimetati 1879. aastal ümber "Madison Square Garden". (New Yorgi elukindlustuse hoone on nüüd kogu selle linna kvartali.) Algne aed purustati 1889. aastal ja asendati uue siseruumiga areenaga.
Stanford White'i disainitud, mis avati järgmisel aastal. Teises aias oli Rooma jumalanna Diana pronksist kuju spordiraja tornil. Kui see kolis 1925. aastal uude hoonesse 50. tänava ja 8. avenüü nurgal, säilitas ta oma vana nime. Madison Square Garden asub nüüd Eighth Avenue'l 31. ja 33. tänava vahel, kuid see säilitab endiselt nime.