Latimeri teise õppeaasta jooksul puhkes kodusõda ja Latimer lahkus VMI-st, et teenida Lõuna Konföderatsiooni. Ta teenis esmakordselt 1861. aasta kevadel ja suvel Richmond Hampden'i suurtükiväe kadetti treenerina. Sügisel määrati ta esimeseks leitnandiks ja osales 1862. aasta Shenandoah' orgu lahingus kindralmajor Richard S. Ewelli diviisil. Pärast seda, kui ta eristas end oma patareiga sellistes lahingutes nagu Esimene Winchester
Cedar Mountain, Latimer edutati komandör pataljon, mis oli varem kuulunud AR Courtney. Pärast pataljoni juhtimist Fredericksburgis 1862. aasta detsembris edutati Latimer 1863. aasta märtsis majoriks. Ewell nimetas teda "nooreks Napoleoniks", kuid tema kaasaegsed märkisid tema noorust ja väikest, kerget kasvu, kutsudes teda "Boy Majoriks". Ta sai ohvitseriks major Richard Snowden Andrews'i pataljonis major-generaal Edward "Allegheny" Johnsoni diviis.