Ballard astus mereväkke 1776. aasta detsembris, kapten John Leveson-Gower'i, John Leveson-Gower'i poja, 1. krahv Gower'i, kes oli tol ajal kapten, kes oli osa laevastiku, mis oli admiral Keppel'i juhtimisel 1778. aasta suvel. Oktoobris 1779 saadeti ta Kapten Mark Robinsoni laevale ja oli kohal, kui Sir George Rodney purustas 16. jaanuaril 1780 Hispaania laevastikku Cape St. Vincenti lähedal. Järgmise aasta juulis ühines "Shrewsbury" Rodney laevastikuga Lääne-Indias.
, ja juhtis veoautot Chesapeake'i lahingus 5. septembril 1781. Lahingu ajal langes võitluse raskus "Shrewsbury" peale, kus oli neljateistkümmend tapetut ja viiskümmend kaks haavatut, sealhulgas kapten Robinson, kes kaotas jala. Seejärel naasis laev Lääne-Indiasse koos Sir Samuel Hoodiga ja oli koos temaga 1782. aasta jaanuaris St. Kittsis toimunud operatsioonides, pärast mida ta pidi saatma Jamaikale remondiks. 10. veebruaril 1783, kui Ballard oli veel Jamaikal, tegi admiral Rowley temast viienda leitnandi ja ta töötas aktiivselt erinevatel laevadel kümne rahu aasta jooksul. Kui sõda uuesti puhkes, oli ta esimene leitnant, mis kandis kontradmiraal Alan Gardner'i lipu läbi 1794. aasta mai viimaste päevade ja 1. juuni. 5. juulil 1794 võitis Ballard oma komandöri auastme ja 1. augustil 1795 edenes ta edasi post-kapteni auastmele.