McGraw juhitud Giants lükkas 1904. aastal ära oma esimese kaasaegse World Series'i võimaluse, keeldudes kutsest mängida praeguse maailmameistriga.
Bostoni ameeriklased (nüüd tuntud kui Boston Red Sox) sest McGraw pidas 1901. aasta äsja asutatud Ameerika Liigit pisut rohkem kui väikese liiga ja ei meeldinud selle tulekahju presidendil Ban Johnsonil. Ta vihkas ka oma Giants'i uut linna-sisest rivaali New York Highlanders'it, kes peaaegu võitis pennanti, kuid kaotas viimasel päeval Bostonile, ja jäi kinni oma keeldumisega mängida, kes võitis 1904. aasta AL pennanti.