 Ẹ parí gbólóhùn yìí: Nígbà tí Ogun Abẹlé bẹrẹ ní 1861, Smith sìn gẹgẹ bí olùrànlọwọ àgọ fún Gómìnà Illinois Richard Yates. Ní ọjọ 26 oṣù Kejìlá ọdún 1861, wọn yàn án gẹgẹ bí ọgágun ti Ẹgbẹ ọmọ ogun abẹlẹ Illinois Volunteer Infantry Regiment kẹrinlélógójì, pẹlú oyè náà tí wọn dá sílẹ ní ọjọ 23 oṣù Kejìlá ọdún 1861, láti rọpò ọgágun tó ti kọwé fi ipò rẹ sílẹ nígbà tí ẹgbẹ ọmọ ogun náà wọṣẹ ìjọba àpapọ. Ó kó àwọn ọmọ ogun rẹ lọ síbi ogun tí wọn jà ní : Ibùdó Henry, Ibùdó Donelson àti Shiloh. Ní November 29, 1862 wọn gbé e ga sí brigadier general of U.S. Volunteers. O ṣe olori fun igba diẹ ṣaaju ki o to gba aṣẹ ti Ẹka 8th, XVI Corps. Nígbà tí Ulysses S. Grant bẹrẹ ìgbésẹ ìkẹyìn rẹ lòdì sí Vicksburg, Smith ni wọn fi ṣe olórí ẹgbẹ ọmọ ogun 1st, Division 3rd, XVII Corps. Ó jà ní àwọn ogun Port Gibson, Raymond, Champion Hill àti nínú àwọn ìkọlù Vicksburg. Ní oṣù kẹfà ọdún 1863, nígbà tí wọn ń sàga ti Vicksburg, Smith ni wọn yàn láti rọpò Jẹnẹlì Isaac F. Quinby láti ṣe olórí ẹka keje, XVII Corps lẹyìn tí Quinby ṣàìsàn tí ó sì gba ààyè. Ni Oṣu Kẹsan, ọdun 1863 Smith ni a gbe lati paṣẹ fun Ẹka Keji, XVII Corps ati pe a firanṣẹ ẹka rẹ pẹlu William T. Sherman lati ṣe iranlọwọ ni iderun ti Chattanooga. Nigba ogun ti Missionary Ridge, Smith kopa ninu awọn ikọlu lodi si ẹgbẹ ọtun Confederate ni Tunnel Hill. 