סבתו של סטיבן, ג'ון בישופ הרמן, הייתה רופאה במגדל הרלי, ואשתו אנה ספייסר, עורכת דין. אנה היה מועמדת המפלגה הליברלית להרטפורד בבחירות הכלליות של 1964. להורים היו רקע לא קונפורמי. סבא מצד אביה, נתניאל בישופ הרמן, היה מנתח עיניים, היה יוניטריאני בולט ומשפחת ספייסר היו קהילתיים ידועים. דודתה מצד אביה הייתה אליזבת פקנהאם, הרוזנת לונגפורד (נייתה הרמן), ובני דודתה כוללים את הסופרים ליידי אנטוניה פרייזר (נייתה פקנהאם, בת דודתה הראשונה), ביל רייצ'לנגטון ותומס פקנהאם.
אליזבת פקנהאם