エドワード・ダグラス・ホワイト
ホワイトはルイジアナ州南部ラフォーシェ郡にあるティボドービル（現在のティボドー）の町に近い両親のプランテーションで生まれた。元ルイジアナ州知事を務めたエドワード・ダグラス・ホワイト・シニアの息子であり、アメリカ合衆国下院議員を務め、医者、判事だったジェイムズ・ホワイト博士の孫だった。母方では連邦保安官テンチ・リングゴールドの孫であり、バージニア州で有名なリー一家とも親戚だった。ホワイト家のプランテーションではサトウキビを栽培し、それを最終製品まで精製していた。
エドワード・ダグラス・ホワイト
ホワイトが南北戦争に従軍したということは、彼がアメリカ合衆国最高裁判所判事に指名された当初も共通に知られている事項であり、アメリカ連合国退役兵のために出版された「南軍退役兵」雑誌は彼の指名を祝福することになった。ホワイトはアメリカ合衆国最高裁判所に仕えた3人の元南軍兵の一人となった。他の二人とはルイス・クィンタス・キンキナトゥス・ラマー2世とホレース・ハーモン・ラートンだった。最高裁判所では他に一人、アメリカ連合国政府で公職を務めたハウェル・エドマンズ・ジャクソンが陪席判事になった。