Nach dem Abschluss des Union College unterrichtete Rumsey sieben Jahre lang Musik im Gebiet des Shenandoah Valley. 2008 gründete er den Musikverlag Laudation Music für zeitgenössische Musik, Kirchenmusik und Unterrichtswerke.