В 1814 году, во время войны 1812 года, особняк был подожжен британской армией при сожжении Вашингтона, разрушив интерьер и обуглив большую часть экстерьера.
Из-за скопления людей в самом особняке президент Теодор Рузвельт в 1901 году перенес все рабочие кабинеты в недавно построенное Западное крыло.