Pärast vangide vahetamist vabastati ta brigadigeneralisse ja saadeti Lääne-Tennesseesse, kus ta võttis üle Mississippi ja Tennessee sõdurite segatud brigaadi. Baldwin võitis Coffeeville'i lahingus au, hiljem osales ta Port Gibsoni lahingutes.
ja Champion's Hill Vicksburgi kampaania ajal. Baldwin võeti vangi, kui Vicksburg langes. Pärast vahetust määrati ta Mobile'i ringkonda. Seal hukkus ta õnnetuses, kus ta kukkus hobuse pealt maha, kuna katki jäänud õnnetusjärg oli Dog River'i lähedal Alabama osariigis.