Freyberg heiratete im Frühjahr 1957 in Rom Marie Adelheid Prinzessin von der Leyen und zu Hohengeroldseck (1932–2015) und zog in das seit dem 17. Jahrhundert in Familienbesitz befindliche Unterknöringer Schloss.