Son père le plaça aux soins d'Alexandre Erskine, comte de Mar, et hors de la garde de la mère du garçon, parce que James craignait que la tendance de la mère au catholicisme n'affecte le fils.
Son père a pris soin d'Alexandre Erskine, comte de Mar, et il n'a pas laissé sa mère s'occuper de lui.