In seiner ersten Erstligasaison gelangen ihm in 33 Spielen neun Tore, doch der TSV 1860 stieg in die 2. Bundesliga ab. Obwohl Völler in der Saison 1981/82 mit 37 Toren Torschützenkönig wurde, wurde der direkte Wiederaufstieg um einen Punkt verpasst.