イーライ・ホイットニー
1765年12月8日、マサチューセッツ州ウェストボロー()で、裕福な農場主イーライ・ホイットニー・シニアとその妻エリザベス・フェイの長男として生まれる。父と同じ名前をつけられたので「ジュニア」付きで呼ばれたと思われるが、記録は残っておらず、生涯に亘ってイーライ・ホイットニーとして知られている。1820年に生まれた息子もイーライと名付けられ、こちらはイーライ・ホイットニー・ジュニアとして知られている。
フローラ・ペイン・ホイットニー
ニューヨーク州ニューヨークで生まれ育った。父はスポーツマンでホイットニー家の相続人であるハリー・ペイン・ホイットニー、母はヴァンダービルト家の相続人であるガートルード・ヴァンダービルト・ホイットニー。ニューヨークの"" に進学し、その後バージニア州ミドルバーグの"" に進学し生涯の親友となる芸術家ケイ・セージと知り合った。