Ее отец, Бенджамин Мейсон, умер, когда она была маленькой, а ее мать, Элизабет Джеррам, позже снова вышла замуж за Генри Дорлинга, который был вдовцом и имел четырех собственных детей.
Даже после переезда в Эпсом две матери Сэмюэля и Изабеллы продолжали разговаривать друг с другом.