Seine Mutter starb kurz nach seiner Geburt, so dass er nach Japan gebracht wurde, wo seine in Kyōto lebenden Großeltern ihn für einige Zeit übernahmen. 1890 heirate sein Vater wieder, und der junge Bernard kehrte nach Hongkong zurück.