Lorsque Thomas Jefferson emménagea dans la maison en 1801, il -LRB- avec l'architecte Benjamin Henry Latrobe -RRB- agrandit le bâtiment vers l'extérieur, créant deux colonnades destinées à cacher des écuries et des entrepôts.
Le bâtiment a été construit entre 1792 et 1800 de grès d'Aquia peints en blanc dans le style néoclassique.