El padre de Alma Rosé fue el violinista Arnold Rosé (né Rosenblum; 1863-1946) quien fue el líder de la Orquesta Filarmónica de Viena durante 50 años: desde 1881-1931, así como líder de la Orquesta de la pera Estatal de Viena y líder del legendario Cuarteto de Cuerdas Rosadas. Su madre, Justine (murió el 22 de agosto de 1938), fue la hermana de Gustav Mahler.
Alma conocía a músicos talentosos cuando era joven.