Am 5. Dezember 1839 heiratete Erasmus Lee Gardenhire Miss Mary A. McMillin (1817–1879), Tochter der irischstämmigen Catharine Halsell und James McMillin, der mehrere Male im Repräsentantenhaus von Kentucky saß.