1870 wurde Elwanger als Wirklicher Geheimer Oberfinanzrat Direktor der Abteilung für Etat- und Kassenwesen im Finanzministerium, dort 1872/73 außer Dienst gestellt und zum Vorsitzenden der Verwaltung des Reichsinvalidenfonds berufen.