Swanton, tema naine ja tütar põgenesid kodusõja ajal Maine'i, jättes maja lesknaise proua Johnsoni hoole alla. 19. juulil 1864 sai majast Tennessee armee peakorter, kes oli teel Atlanta lahingus osalema.
- Jah. Kindral Thomas W. Sweeny kohalolek Swantoni majas on salvestatud tolleaegsetesse dokumentidesse. Hiljem, kui kindral Sherman korraldas 1864. aasta septembris Atlanta okupeerimise, kasutas Ohio armee Swantoni maja oma peakorterina. Nii pääses maja sõja ajal hävingult.