Täitke järgmine lause: James, nüüd kroonimata Šotimaa kuningas, alustas oma 18-aastast pantvangiperioodi, samal ajal kui Albany muutus leitnandist kuberneriks. Albany võttis Jaakobuse maad oma kontrolli alla, jättes kuninga sissetuleku ja tema positsiooni kõik kuninglikud märgid ja teda viidatakse dokumentides kui "viimase kuninga poega". Kuningal oli väike šotide perekond, mille hulka kuulusid Orkney krahv Henry Sinclair, Sir David Flemingi vennapoeg Alexander Seaton ja Orkney vend John Sinclair pärast krahvi naasmist Šotimaale. Aja jooksul muutus Jaakobuse majapidamine - mida nüüd tasusid inglased - kõrgemate ametikohtade isikutest vähem tähelepanuväärseteks meesteks. Henry IV kohtles noort Jaakobit hästi, andes talle hea hariduse. Jaakobil oli ideaalne võimalus jälgida Henry kuningriigi ja poliitilise kontrolli meetodeid, kuna ta võeti tõenäoliselt kuningliku majapidamisse täiskasvanuks saades. Jaakob kasutas oma aadlike isiklikke külastusi koos kirjadega üksikisikutele, et säilitada oma nähtavust oma kuningriigis. Henry suri aastal 1413 ja tema poeg Henry V lõpetas otsekohe Jaakobi suhtelise vabaduse, hoides teda alguses koos teiste Šoti vangidega Londoni torni. Üks neist vangidest oli James nõbu, Murdoch Stewart, Albany poeg, kes oli püütud 1402 aastal
Homildoni mäe lahing. Esialgu hoiti neid eraldi, kuid aastast 1413 kuni Murdochi vabastamiseni aastal 1415 olid nad koos Toweris ja Windsori lossis.