Рубинштейн родился в семье евреев в Москве, где его отец только что открыл небольшую фабрику, и рано проявил талант к игре на клавишных.
Среди наиболее популярных его произведений - «Тарантелла соль минор» и «Фантазия на тему Шумана», обе для фортепиано соло.