Bei den Kongresswahlen des Jahres 1952 wurde Small im fünften Wahlbezirk von Maryland in das US-Repräsentantenhaus in Washington gewählt, wo er am 3. Januar 1953 die Nachfolge von Lansdale Sasscer antrat.