Einem 12. Platz 1960/61 – mit nur zwei Punkten vor dem ersten Absteiger – folgte in der Runde 1961/62 schließlich der Abstieg, der FSV war zum ersten Mal in seiner Vereinsgeschichte nur noch zweitklassig.