В 1941 году они усыновили сына Джеймса Кэгни-младшего, а затем дочь Кэтлин «Кейси» Кэгни. Кэгни был очень закрытым человеком, и, хотя он был более чем готов предоставить фотографии для прессы, когда это было необходимо, он обычно проводил свое личное время вне поля зрения общественности.
Как и Джеймс Стюарт, Кэгни стал настолько знаком публике, что его обычно называли «Джимми» Кэгни.