Bei den Kongresswahlen des Jahres 1850 wurde Conger im dritten Wahlbezirk von Michigan in das US-Repräsentantenhaus in Washington D.C. gewählt, wo er am 4. März 1851 die Nachfolge von Kinsley S. Bingham antrat.