Bei den Kongresswahlen des Jahres 1890 wurde Alexander im sechsten Wahlbezirk von North Carolina in das US-Repräsentantenhaus in Washington D.C. gewählt, wo er am 4. März 1891 die Nachfolge von Alfred Rowland antrat.