Ли, Роберт Эдвард
В имении Арлингтон в качестве прислуги жили 63 раба. Ли не мог их всех содержать, поэтому он отправил несколько слуг в восточную Вирджинию. Там двое из них (Уэсли и Мэри Норрис) сбежали и решили пробраться в Пенсильванию, но были схвачены в Мериленде и возвращены в Арлингтон. 24 июня 1859 года в аболиционистской газете "New York Daily Tribune" были опубликованы два анонимных письма. Их авторы утверждали, что Ли приказал высечь Норрисов, а когда надсмотрщик отказался сечь женщину, то Ли взял кнут и высек её лично.
Ли, Ричард Генри
Ли был одним из делегатов от Вирджинии на Первом Континентальном конгрессе в Филадельфии в 1774 году и подготовил обращение к народу Британской Северной Америки, а также обращение к народу Великобритании, ставшие одними из самых значительных подобных работ того времени. В соответствии с указаниями вирджинской Палаты представителей Ли представил в Конгрессе 7 июня 1776 года известные резолюции о независимости колоний. После обсуждения первой из этих резолюций на протяжении трёх дней Конгресс постановил, что её дальнейшее рассмотрение следует отложить до 1 июля, но что при этом должен быть назначен комитет для подготовки Декларации о независимости. Болезнь жены Ли помешала ему стать членом этого комитета, но первая предложенная им резолюция была принята 2 июля, а Декларация независимости США, подготовленная главным образом Томасом Джефферсоном, была принята через два дня. Ли работал в Конгрессе с 1774 по 1780 год и занимался в первую очередь вопросами международных отношений. Он был членом вирджинской Палаты делегатов в 1777, 1780—1784 и 1786—1787 годах; снова работал в Конгрессе с 1784 по 1787 год, будучи его президентом в 1784—1786 годах, и был одним из первых сенаторов Соединённых Штатов, избранных от Вирджинии после принятия федеральной конституции. Хотя он решительно выступал против принятия этой конституции, поскольку считал её опасной угрозой независимости властей штатов, но принял должность сенатора в надежде внести в неё поправки и предложил Десятую поправку, которая затем была принята в значительной степени в том виде, в котором была им сформулирована. Был горячим сторонником администрации Вашингтона, а его предубеждения против конституции в значительной степени исчезли после начала её действия на практике. Ушёл из общественной жизни в 1792 году.
5 декабря 1757 года Ли женился на Энн Эйлетт (1738 - 1768), дочери Уильяма Эйлетта и Элизабер Эскридж. Она умерла в Шантильи в 1768 году. У Ли и Энн было шесть детей, четверо из которых дожили до взрослого возраста. Летом 1769 года Ли повторно женился на Энн Пинкард. У них было семь детей, из которых детский возраст пережили пятеро.