Родилась в Норидже, Коннектикут, дочери Чарльза Кэроу (1825 - 1883), торговца, и бывшей Гертруды Элизабет Тайлер (1836 - 1895) и внучки Дэниела Тайлера, генерала во время Гражданской войны в США, Эдит вырос по соседству с Теодором ТР Рузвельт жил в Нью-Йорке и был лучшим другом своей младшей сестры Корин.
В детстве Эдит Кермит Кэроу и Коринн Рузвельт Робинсон (младшая сестра Теодора Рузвельта) играли вместе.