Charles Darwin
Setelah pertama-tama tinggal di Gower Street, London, pasangan ini pindah pada 17 September 1842 ke Down House di Downe (yang kini terbuka untuk kunjungan masyarakat, di selatan Orpington). Keluarga Darwin mempunyai sepuluh orang anak, tiga di antaranya meninggal dalam usia dini. Banyak dari mereka dan cucu-cucu mereka kelak menjadi terkenal (lihat keluarga Darwin — Wedgwood)Beberapa dari anak-anak mereka menderita penyakit atau lemah tubuhnya. Charles Darwin kuatir bahwa hal ini mungkin disebabkan karena garis keturunannya dengan Emma cukup dekat. Hal ini diungkapkannya dalam tulisan-tulisannya tentang akibat-akibat buruk yang ditimbulkan dari perkawinan antar kerabat dekat dan keuntungan dari perkawinan silang.
Diana Spencer
Putra keduanya, Henry Charles Albert David (kerap disebut Pangeran Harry), lahir pada 15 September 1984. Diana menegaskan bahwa dia dan Charles paling dekat selama dia mengandung Harry (seperti yang selalu diketahui pangeran muda). Dia sadar anak kedua mereka adalah anak laki-laki, tapi tidak berbagi pengetahuan dengan orang lain, termasuk Pangeran Wales. Saran yang terus-menerus bahwa ayah Harry bukan Charles tapi James Hewitt, dengan siapa Diana berselingkuh, telah didasarkan pada dugaan kesamaan fisik antara Hewitt dan Harry. Namun, Harry sudah terlahir saat perselingkuhan antara Hewitt dan Diana dimulai.