James Milne, hiljem tuntud kui James Mill, sündis Northwater Bridge'is, Logie Pert'i koguduses, Angus, Šotimaa, kingitöötaja ja väikese talupidaja James Milne'i pojana. Tema ema, Isabel Fenton, perekonnast, kes oli kannatanud Stuartide ülestõusuga seoses, otsustas, et ta peaks saama esmaklassilise hariduse ja saatis ta esmalt koguduse kooli ja seejärel Montrose'i akadeemiasse, kus ta jäi kuni ebatavalise vanuseni seitseteist ja pool aastat. Seejärel sisenes ta Edinburghi ülikooli, kus ta eristas ennast kreeka teadlasena. 1789. aasta oktoobris määrati ta Šotimaa kiriku preestriks, kuid sai vähe edu. John Stuart Mill'i autobiograafia järgi oli tema isa "haritud Šotimaa kirikuõpetaja, kes oli omaenda juhtivaks ja ambitsioonikuks koolitaja James Milne'i poegaks". 1802. aastal kirjutas ta, et ta peaks saama esimese taseme hariduse ja saatis teda esmalt kogudusse kooli
Müür