Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Американское колонизационное общество
Несмотря на приверженность аболиционизму, члены Общества были открытыми расистами и часто утверждали, что свободные чернокожие не смогут ассимилироваться в белом обществе Соединённых Штатов. Джон Рэндолф, известный рабовладелец, называл свободных негров «проводниками бед». К этому времени около 2 миллионов афроамериканцев проживали в США, из которых порядка 200 000 были свободными с законодательно ограниченными правами. Генри Клей, конгрессмен из Кентукки, придерживавшийся мнения, что рабство негативно воздействует на экономику южных штатов, считал переселение чернокожих предпочтительнее их эмансипации и был убеждён в том, что «из-за непреодолимой ущербности, происходящей от их цвета, они никогда не смогут объединиться со свободными белыми этой страны», и, следовательно, им будет лучше эмигрировать в Африку.