Son épouse Gisela M. A. Richter et leurs filles Irma et Luise Marie Schwaab étaient également des historiens de l'art.
De plus, son épouse Gisela M. A. Richter et ses filles Irma et Luise Marie Schwaab étaient des historiennes de l'art.