Lorsque Thomas Jefferson emménagea dans la maison en 1801, il -LRB- avec l'architecte Benjamin Henry Latrobe -RRB- agrandit le bâtiment vers l'extérieur, créant deux colonnades destinées à cacher des écuries et des entrepôts.
Depuis John Adams, tous les présidents des États-Unis y ont élu domicile.