Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Ли, Роберт Эдвард
1 ноября 1857 года Ли прибыл в , где застал жену тяжело больной. Её мучил артрит, она с трудом передвигалась по дому и фактически стала инвалидом. После смерти тестя Ли оказался одним из четырёх душеприказчиков, но в итоге ему самому пришлось решать все проблемы с наследством. Практически всё имущество умерший завещал внукам: усадьба Арлингтон досталась Кастису Ли, плантация «Белый дом» досталась Руни Ли, усадьба Романкок досталась Роберту Эдварду Ли Младшему, дочери получили по 10 000 долларов. Сам Ли получил небольшой участок в Вашингтоне. Все рабы покойного (196 человек) должны были быть освобождены в течение пяти лет. При этом покойный оставил долгов на 10 000 долларов, а его Арлинтонская усадьба пришла в крайнее запустение.