Дэвид Лоуренс Швиммер родился 2 ноября 1966 года в Квинсе, штат Нью-Йорк, в семье еврейских родителей, адвокатов Артура и Арлин Колман-Швиммер.
Швиммер родился в Астории, Квинс, Нью-Йорк, в семье евреев Артура Швиммера и Арлин Колман, а затем жил в Вэлли-Стрим на Лонг-Айленде, пока ему не исполнилось два года.