Sein Vater, Johann Friedrich Gottlob Kastner, war neben seiner Tätigkeit als Rektor der Stadtschule Lehrer für Religion, deutsche Sprache, Geschichte, Geographie, Mathematik und Naturgeschichte sowie protestantischer Pfarrer.