Ashe lapselaps, William Ashe, oli Konföderatsiooni sõdur Ameerika kodusõjas, ja poeg John B. ja endine Eliza Hay. Ta tapeti Shiloh's.
1862. aastal Tennessees, lahingus, kus võitles ka William'i vend Samuel Swann Ashe.