Сильверман, 16-18 лет По вернулся с Алланами в Ричмонд, штат Вирджиния, в 1820 году.
Через пять лет семья вернулась в Ричмонд, штат Вирджиния. Вернувшись в Вирджинию, По зарегистрировался в Вирджинском университете в 1826 году.