Zusammen hatten sie vier Kinder, von denen Tochter Cathy noch im Kindesalter bei einem Wohnungsbrand ums Leben kam. Der 1947 geborene Sohn Arlo wurde ebenfalls als Sänger bekannt. 1948 und 1950 folgten noch Joady Ben und Nora Lee.