Pärast ulatuslikku ümberkorraldamist talvel 1863-1864, võitlesid Walker ja Potomaci armee mais ja juunis 1864. Juuni alguses toimunud Cold Harbori lahingus oli suur kahju II korpuse ridadele ja Walker vigastas lahingus põlve. Järgnenud Richmond-Petersburgi kampaanias määrati Walker brevetkoloneliks. Kuid 25. augustil 1864, kui ta ratsutas, et leida kindralmajor John Gibbonit rindel Reami jaama teise lahingu ajal,
, Walker oli ümbritsetud ja vangistatud 11. Georgia jalaväe. 27. augustil suutis Walker põgeneda koos teise vangiga marssimisest vangikolonnist, kuid 51st North Carolina Infantry vangistas ta uuesti pärast seda, kui ta üritas Appomattoxi jõe üle ujuda ja peaaegu uppus. Pärast seda, kui ta oli vangis Petersburgis, viidi ta üle kurikuulsale Libby vanglasse Richmondis, kus oli ka tema vanem vend. Oktoobris 1864 vabastati Walker koos kolmekümne teise vangiga vahetuse osana.