Bei den Kongresswahlen des Jahres 1826 wurde Richardson im elften Wahlbezirk von Massachusetts in das US-Repräsentantenhaus in Washington, D.C. gewählt, wo er am 4. März 1827 die Nachfolge von Aaron Hobart antrat.