1. juulil 1863 edutati Walker'i brigadigeneraaliks ja pärast Gettysburgi kampaaniat määrati ta Põhja-Virginia armee III korpuse generalmajor Henry Heth'i diviisile, algselt juhtides Heth'i endist brigaadi, seejärel ka brigadigeneraal James J. Archeri brigaadi pärast Archeri raskelt haavatud. Walker teenis brigadi komandörina Hethi all kuni ta kaotas oma vasaku jala Spotsylvania kohtumaja lahingus 10. mail 1864. Ta osales Bristoe jaama lahingus 14. oktoobril 1863. aastal Mine Runi lahingus
ja pärast teenimist Shenandoah Valley talvel 1864-1864, lahingus Wilderness enne tema haavata Spotsylvania Court House.