Tema tõus kuningriigis domineerimiseks algas tema vanema venna Archibald Douglase, 4. Douglase krahvi, katastroofilise lüüasaamisega Homildoni mäe lahingus.
1402. aasta septembris vangistati ta inglaste poolt. James oli nüüd võimsate Douglasite perekonna peamise haru peajuht ja jäi säilitama oma mõju Lõuna-Šotimaal. Tema edusammud selles osas säilitasid Dougali mõju kuni tema vanema venna vangistuse tagasipöördumiseni aastal 1409, mil ta võttis üle nõunikuna ja sai tasu ulatuslike valduste andmise eest. Kõige olulisem neist oli Abercorni lossi kindlus, millest sai tema peamine elukoht kogu tema ülejäänud elu.