Erst 1921 wurde Kaltenberg als eigene Gemeinde eingerichtet, indem das heutige Gemeindegebiet von Unterweißenbach abgetrennt wurde. 1938 wurde die Gemeinde wieder mit Unterweißenbach vereinigt, 1947 aber wiederhergestellt.