Seine Amtszeit im Staatsparlament war aber nur von kurzer Dauer, denn am 4. März 1873 trat Conover den Posten eines US-Senators in Washington an. Während der folgenden sechs Jahre war er unter anderem Vorsitzender des Committee on Enrolled Bills.