Джеймс Мэдисон женился на Долли Пэйн Тодд, вдове, 15 сентября 1794 года в том, что сейчас является округом Джефферсон, Западная Вирджиния. Мэдисон усыновила единственного выжившего сына Тодда, Джона Пейна Тодда, после свадьбы.
Мэдисон женился на Долли Тодд в девичестве Пейн 18 апреля 1794 года.