Le père d'Ernest, Henry, et sa mère, Henrietta Letitia Sophia Gavan, sont d'origine anglo-irlandaise.
La mère d'Ernest, née Henrietta Letitia Sophia Ganan, épouse son père en 1872, apportant du sang irlandais à la famille anglo-irlandaise.