Перед тем, как войти в Вест-Пойнт, По переехал на какое-то время в Балтимор, чтобы остаться со своей овдовевшей тетей Марией Клемм, ее дочерью Вирджинией Элиза Клемм (двоюродный брат По), его братом Генри и его бабушкой-инвалидом Элизабет Кэрнс По.
В Балтиморе По жил со своей тетей Марией По Клемм.