1813 abiellus Ruffin Susan Hutchings Travis'iga Williamsburgist. Paar kolis plantaadile, mille Ruffin oli pärinud oma vanaisalt, Coggin's Point'is, mööda James'i jõge Prince George'i maakonnas, mis oli märgitud kui Benedict Arnoldi lahkumiskoht pärast seda, kui ta vahetas truudust ja ründas mööda James'i jõge (sealhulgas Richmond) 1781. aastal. Neil oli 11 last enne Susan Ruffini surma 1846. aastal, kuigi enamik neist suri enne Ameerika kodusõja lõppu ja nende isa sooritas enesetapu: Edmund Ruffin Jr. (1814-1875), Agnes Ruffin Beckwith (1816-1865), Julian Calx Ruffin (1821-1864, kes suri Drewry's Bluffi lahingus
), Elizabeth Ruffin Sayre (1821-1860), Rebecca Ruffin Bland (1823-1855), Jane Ruffin Dupuy (1829-1855), Charles Lorraine Ruffin (1832-1870; VMI lõpetaja, kes elas sõja üle), Ella Ruffin (1832-1855), Ann Ruffin (1844-1863) ja George Champion Ruffin (1845-1913).