В 1814 году, во время войны 1812 года, особняк был подожжен британской армией при сожжении Вашингтона, разрушив интерьер и обуглив большую часть экстерьера.
Восемь лет спустя президент Уильям Говард Тафт расширил Западное крыло и создал первый Овальный кабинет.