Он продолжал активно выступать, дирижировать и записывать музыку до своей смерти в Анифе в 1989 году, в основном с Берлинским филармоническим оркестром и Венским филармоническим оркестром.
Он продолжал работать очень трудно выполнять, проведение и записи до его смерти в 1989 году. В последние годы жизни Караяна он покинул Берлинскую филармонию после споров с ними и снова сосредоточился на работе с Венской государственной оперой и Венской филармонией.