Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Ли, Роберт Эдвард
Ли находился в Арлингтоне, когда утром 17 октября 1859 года к нему прибыл первый лейтенант Джеб Стюарт с письменным приказом срочно явиться в Военный Департамент. В Департаменте Ли узнал, что в Харперс-Ферри ночью произошло нечто странное — возможно, даже восстание. Это событие восприняли очень серьёзно и отправили в Харперс-Ферри военных из и мерилендское ополчение, а Ли получил приказ возглавить эти силы. Джеб Стюарт вызвался быть при нём адъютантом. Прибыв в 10:00 в , Ли узнал, что восставшие забаррикадировались в здании пожарной охраны вместе с заложниками, и решил, что это здание будет несложно взять штурмом. В 23:00 его люди перешли Потомак и окружили арсенал. Ли решил не начинать атаку, чтобы не пострадали заложники. Около полуночи он написал восставшим письмо с предложением капитуляции:
Штаб в Харперс-Ферри 
18 октября 1859 
Полковник Ли, армия США, командующий частями, присланными Президентом США для подавления беспорядков в данной местности, предлагает капитуляцию лицам, находящимся в здании арсенала. Если они мирно сдадутся и вернут украденное имущество, они будут находиться под охраной в ожидании решения президента. Полковник Ли честно предупреждает их, что скрыться им не удастся. Арсенал окружён со всех сторон, и если ему придется взять его силой, то он не отвечает за их безопасность.