Рубинштейн родился в семье евреев в Москве, где его отец только что открыл небольшую фабрику, и рано проявил талант к игре на клавишных.
Семья провела некоторое время в Европе, в том числе три года в Берлине, где они подружились с Мендельсоном и Мейербером.