Il est le fils de Henry James, père, membre du clergé, et frère du philosophe et psychologue William James et du diariste Alice James.
Il est le fils de Henry James Senior, un pasteur, et du frère de William et d'Alice James.