Colfax, en Californie, possède une statue de bronze de Colfax, elle se trouve à côté des pistes de la gare d'AMTRAK.
Colfax County, au Nouveau-Mexique, doit son nom au président de la Chambre des communes.