Bei den Kongresswahlen des Jahres 1874 wurde Bagby im zehnten Wahlbezirk von Illinois in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1875 die Nachfolge des Republikaners William H. Ray antrat.