Bei den Kongresswahlen des Jahres 1854 wurde Williams im 29. Wahlbezirk von New York in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1855 die Nachfolge von Davis Carpenter antrat.