Отец Фроста был учителем, а позже редактором «Вечернего бюллетеня Сан-Франциско» (который впоследствии перешел в «Экзаменатор Сан-Франциско»), и неудачный кандидат на должность городского сборщика налогов.
В 1940 году он купил участок в Южном Майами, Флорида, назвав его Pencil Pines; он провел там свои зимы до конца своей жизни.