Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Ли, Роберт Эдвард
В Вашингтоне Ли занимался монотонной бумажной работой, но параллельно ему удавалось навещать семью и участвовать в светской жизни. В первую зиму на новом месте службы он присутствовал на свадьбе своего брата Смита. Весной 1835 года внезапно обострилась ситуация на Западе, вызванная неопределённостью границы между Огайо и Мичиганской территорией. Ли был отправлен на запад для уточнения границы. Эта экспедиция затянулась на всё лето и позволила Ли увидеть Великие озёра. За время его отсутствия в семье появился второй ребёнок (Мэри Кастис Ли родилась 12 июля 1835 года), а жена заболела так тяжело, что смогла ходить только весной 1836. Последнее событие и однообразие офисной работы повергли Ли в уныние, от которого его несколько отвлекли известия о Техасской революции и повышение до звания первого лейтенанта, которое он получил 21 сентября 1836 года. Но Ли всё равно думал об увольнении. Когда его бывший командир Эндрю Тэлкотт покинул армию, Ли написал ему (в феврале 1837): «Одно могу сказать точно, мне надо уйти отсюда… Я жду и надеюсь на какой-то удобный шанс, чтобы радостно распрощаться с моим дорогим Дядюшкой Сэмом…».