Несколько раз он отказывался от публичных выступлений - с 1936 по 1938 год, с 1953 по 1965 год, с 1969 по 1974 год и с 1983 по 1985 год.
Горовиц перестал давать концерты четыре раза (с 1936 по 1938 год, с 1953 по 1965 год, с 1969 по 1974 год и с 1983 по 1985 год), поскольку не был уверен, что он достаточно хорош, даже когда был популярен.