Bei den Kongresswahlen des Jahres 1884 wurde Tarsney im achten Wahlbezirk von Michigan in das US-Repräsentantenhaus in Washington D.C. gewählt, wo er am 4. März 1885 die Nachfolge von Roswell G. Horr antrat.