Seine Vorfahren unterhielten hier ein 1767 durch Gottfried Ludewig Wilm gegründetes Juweliergeschäft, das der Großvater Hermann Julius Wilm (1812–1907) und der Vater Johann Paul Friedrich Wilm (1840–1923) fortgeführt hatten.