30. juunil 1960 abiellus Peter oma 24-aastase sekretäriga Beverly Mater (s. 1935). Neil sündis üks tütar, Elizabeth, jaanuaris 1961. Peter ja Beverly elasid koos tütrega Folger'i mõisas Woodside'is, Californias, kuni 1974. aastani, mil nad kolisid Roberta Drive'i uude majja. Tema vanema tütre mõrv
, Abigail Anne, Los Angeleses, California, 9. augustil 1969, väidetavalt vähendas Peter'i soovi jätkata elu Woodside'i kinnisvaral, kus ta kasvas üles.