Jotham Bradbury Sewall war das sechste Kind seiner Eltern Jotham Sewall und Rachel Crosby Bradbury (1794–1837); er hatte zehn Geschwister, darunter drei Halbbrüder aus der zweiten Ehe seines Vaters mit Anna Baker († 1856).