エドワード・ダグラス・ホワイト
ホワイトはルイジアナ州南部ラフォーシェ郡にあるティボドービル（現在のティボドー）の町に近い両親のプランテーションで生まれた。元ルイジアナ州知事を務めたエドワード・ダグラス・ホワイト・シニアの息子であり、アメリカ合衆国下院議員を務め、医者、判事だったジェイムズ・ホワイト博士の孫だった。母方では連邦保安官テンチ・リングゴールドの孫であり、バージニア州で有名なリー一家とも親戚だった。ホワイト家のプランテーションではサトウキビを栽培し、それを最終製品まで精製していた。
ウィリアム・エドワード・ホワイト
2003年にアメリカ野球学会がホワイトの経歴に関する研究成果を公表したが、それによると彼の父アンドリュー・ジャクソン・ホワイトはジョージア州でプランテーションを所有しており、母ハンナ・ホワイトはそこで働いていた黒人奴隷だった。1870年の国勢調査にあるウィリアム・エドワード・ホワイトの名前に一致する人物は、当時母ハンナと一緒に暮らしていた9歳の混血の男の子だったという。一方で1900年代の国勢調査記録では、当時シカゴに移り住んでいたブラウンは「ロードアイランド州出身」で、そこでは彼は「黒人」とはされていなかった。前者がグレイズのホワイトと同一人物であるとすれば、ホワイトは1884年にメジャーリーグで1年間プレーしたアフリカ系アメリカ人選手、モーゼス・フリート・ウォーカーよりも5年早くメジャーリーグでプレーしていた選手ということになる。