Né de parents juifs à Moscou, où son père venait d'ouvrir une petite usine, Rubinstein a montré très tôt son talent au clavier.
La famille a passé un certain temps en Europe, y compris trois ans à Berlin où elle a fait des amis avec Mendelssohn et Meyerbeer.