Baler is as 'n Demokraat tot die 58ste Kongres verkies en was 'n Amerikaanse verteenwoordiger vir die sesde distrik van New York van 4 Maart 1903 tot 3 Maart 1905. Sy enkele termyn in die amp was gekenmerk deur kontroversie omdat Baker getrou gebly het aan sy reformistiese filosofie, en vinnig die bynaam "No Pass" Baker verdien het omdat hy die gratis spoorwegkaarte wat dan gereeld deur die B & O-spoorweg aan wetgewers uitgedeel is, verwerp het. As 'n pasifiste het hy wetgewing ingestel om die Verenigde State se Militêre Akademie by West Point te ontbind en 'n ander mosie wat die "Bloody Sunday" veroordeel
slagoffer in St. Petersburg, Rusland.