У Дугласа и Анны было пятеро детей: Розетта Дуглас, Льюис Генри Дуглас, Фредерик Дуглас-младший, Чарльз Ремонд Дуглас и Энни Дуглас (умерла в возрасте десяти лет).
Он написал две книги: «Рассказ о жизни Фредерика Дугласа», «Моя кабала» и «Моя свобода». Дуглас провел несколько лет в Англии и Ирландии.