Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Ли, Роберт Эдвард
Роберту было всего 16 месяцев, когда его брат Генри достиг совершеннолетия и вступил во владение плантацией Стратфорд-Холл, после чего Роберт и его семья оказались на плантации в положении гостей. Дела семьи шли всё хуже, и Генри Ли Старший даже пытался уехать на службу в Бразилию, чтобы скрыться от кредиторов, но ему это не удалось. Он продал всё, что мог, и всё же 11 апреля 1809 года был арестован за долг в размере 5400 и помещён в окружную тюрьму округа Уэстморленд. Там, в заключении, он написал основную часть своего труда «Memoirs of the War in the Southern Department of the United States». Вскоре его выпустили, но семье пришлось продать часть собственности отца Анн Картер, хотя этих денег хватило только на самое необходимое. Семья покинула плантацию и переехала в Александрию, где Генри купил небольшой дом на Кемерон-Стрит около епископальной церкви, известный сейчас как «».