Кольридж-Тейлор родился в Холборне, Лондон, в семье сьерра-леонского креола, отца Дэниела Питера Хьюза Тейлора, и матери-англичанки Элис Хэр Мартин.
Ее родители не хотели, чтобы она была замужем за человеком смешанной расы.