Кольридж-Тейлор родился в Холборне, Лондон, в семье сьерра-леонского креола, отца Дэниела Питера Хьюза Тейлора, и матери-англичанки Элис Хэр Мартин.
Это сделало его еще более заинтересованным в том, чтобы узнать о своем расовом наследии.