Bei den Kongresswahlen des Jahres 1874 wurde Baker im 13. Wahlbezirk von Indiana in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1875 die Nachfolge von William Williams antrat.