Le groupe s'est réuni à l'origine en 1945 sous le nom de Quatuor du Conservatoire de Moscou avec Mstislav Rostropovich sur violoncelle, Rostislav Dubinsky et Nina Barshai sur les premières et deuxièmes violons et Rudolf Barshai sur l'alto, tous membres d'une classe prise par Mikhail Terian, le joueur d'alto du Comitas Quartet.
En 1945, quatre jeunes joueurs forment un quatuor à cordes appelé le Quatuor du Conservatoire de Moscou : Mstislav Rostropovich était violoncelliste, Rostislav Dubinsky et Nina Barshai jouait les violons et Rudolf Barshai jouait l'alto.