Он был вторым ребенком в семье протестантского директора средней школы в Аалене, профессора Эрвина Роммеля-старшего (1860-1913 гг.) И Хелен фон Луз, у которой было еще два сына и дочь.
Он был вторым из четырех детей директора протестантской средней школы в Аалене, профессора Эрвина Роммеля-старшего (1860–1913) и Хелен фон Луз, дочери известного местного сановника.