Barbé war verheiratet und hatte drei Söhne: der älteste Sohn Johann wurde Priester († 1573), der zweite Sohn Antoine ergriff den Musikerberuf und wurde als Organist und Komponist bekannt († 10. Februar 1604).