Когда Томас Джефферсон переехал в дом в 1801 году, он (вместе с архитектором Бенджамином Генри Латробом) расширил здание наружу, создав две колоннады, которые должны были скрыть конюшни и склад.
Здание было построено между 1792 и 1800 годами из выкрашенного в белый цвет песчаника Аквиа в неоклассическом стиле.