У фон Брауна был младший брат, которого также звали Магнус Фрайхер фон Браун.
Во время Веймарской республики его отец был министром продовольствия и сельского хозяйства Магнусом Фрайхером фон Брауном. Матерью фон Брауна была Эмми фон Кисторп, дочь члена прусской палаты лордов.