En 1929, il dirige Salome au Festspielhaus à Salzbourg et de 1929 à 1934 Karajan a servi de premier Kapellmeister au Stadttheater à Ulm.
En 1929, il dirige le Philharmonique de Vienne pour la première fois à la Festspielhaus, à Salzbourg et en 1934, il dirige l'Orchestre philharmonique de Vienne pour la première fois.