Фрэнсис Скотт Ки родился у Энн Фиби Пенн Дагуорти (Чарльтон) и капитана Джона Росс Ки на семейной плантации Терра Рубра в округе Фредерик, а теперь в округе Кэрролл, штат Мэриленд.
Его матерью была Энн Фиби Пенн Дагуорти (Чарльтон), а отцом - капитан Джон Росс Ки.