Né de parents juifs à Moscou, où son père venait d'ouvrir une petite usine, Rubinstein a montré très tôt son talent au clavier.
Parmi ses œuvres les plus populaires sont son Tarantella en G minor et le Fantasia sur un thème par Schumann, tous deux pour piano solo.