1864. aastal juhtis Osborn Jaakobuse armee XXIV korpuse 1. brigaadi, 1. diviisi. Osborn sai Drewry's Bluffi lahingus raskelt haavatud.
14. mail 1864, kui musketipall purustas tema parema küünarnuki ja jäi tema käele. Ta jäi haiglasse kuni septembrini, enne kui ta teenistusest vabastati. Detsembris oli ta piisavalt taastunud, et tööle minna. Kuid ta kannatas vigastatud küünarnuki anküloosi all kogu oma ülejäänud elu.