Среди его старших братьев и сестер были Джон Ф. Кеннеди, Роберт Ф. Кеннеди и Юнис Кеннеди Шрайвер.
Он был младшим братом бывшего президента Джона Ф. Кеннеди и сенатора Роберта Ф. Кеннеди, оба из которых были убиты, а также Джо Кеннеди, убитого во время Второй мировой войны.