ב-30 ביוני 1960, פיטר התחתן עם המזכירה שלו, בברלי מאטר בת ה-24. 1935). בינואר 1961 נולדה להם בת אחת, אליזבת. פיטר ובוורלי חיו עם בתם באחוזה פולגר שבוודסייד, קליפורניה, עד 1974, כאשר הם עברו לבית שנבנה לאחרונה ברחוב רוברטה דרייב. הרצח של הבת הבכורה שלו
, אביגיל אן, בלוס אנג'לס, קליפורניה, ב-9 באוגוסט 1969, נאמר כי הפחיתה את הרצון של פיטר להמשיך לחיות באחוזה וודסייד, שם גדלה.