Coleman naît à Richfield Springs, dans l'État de New York, et déménage plus tard au Kentucky pour devenir éducateur.
Il obtient un diplôme en droit de la faculté de droit de l'Université de Louisville en 1849.