Kui kodusõda 1861. aastal algas, teenis Smith Illinoisi kuberneri Richard Yates'i aide de camp'ina. 26. detsembril 1861 määrati ta 45. Illinois vabatahtliku jalaväerügemendi koloneks, kusjuures auaste oli tagasiulatuv 23. juulile 1861. aastal, et asendada eelmist kolonelli, kes lahkus oma osariigi komisjonist, kui rügement astus föderaalteenistusse. Ta juhtis oma rügementi Fort Henry, Fort Donelsoni ja Shilohi lahingutes. 29. novembril 1862 edutati ta USA vabatahtlike brigadigeneralisse. Ta juhtis lühikest aega brigaadi, enne kui sai komandöriks 8. diviisist, XVI korpuse. Kui Ulysses S. Grant alustas oma viimast kampaaniat Vicksburgi vastu, määrati Smith 1. brigaadi, 3. diviisi, XVII korpuse komandöriks. Ta võitles Port Gibsoni lahingus.
Raymond, Champion Hill ja rünnak Vicksburgi vastu. Juunis 1863. aastal, Vicksburgi piiramise keskel, valiti Smith asendada Gen. Isaac F. Quinby 7. diviisi, XVII korpuse juhtimisel, pärast seda, kui Quinby jäi haigeks ja võttis puhkuse. 1863. aasta septembris saadeti Smith 17. korpuse 2. diviisi juhtimiseks ja tema diviis saadeti koos William T. Shermaniga Chattanooga vabastamiseks. Missionary Ridge'i lahingus osales Smith Tunnel Hillis konföderatsioonide parema tiibade vastu tehtud rünnakutes.