Louis-Pierre Dufay
Depuis 1778, la France est alliée aux insurgés américains contre le Royaume de Grande-Bretagne et en 1779, pour soutenir militairement les Américains, le vice-amiral Charles Henri d'Estaing embarque à Saint-Domingue des troupes dont fait partie Dufay. L'armée française échoue à reprendre la ville de Savannah. Revenu sur l'île, Dufay démissionne en 1779. Le dans la paroisse de Grande Rivière, il épouse Catherine Thérèse Joly, veuve qui possède une sucrerie, une poterie et une caféterie. Par ce mariage, Dufay rencontre les riches colons propriétaires de sucreries. Bien que tous les biens appartiennent à sa femme, Dufay s'intéresse à la gestion de la sucrerie qui assure un revenu important au couple. 141 esclaves travaillent alors dans la sucrerie. En 1785, il revient en France. En 1788, vivant séparé de son épouse, il est arrêté le mais dès le lendemain il est libéré grâce à la caution d'un ami.
Caroline Aupick
Le 8 novembre 1828, Caroline Dufaÿs se remarie à Paris avec le commandant Jacques Aupick. En 1830, il participe à la prise d'Alger puis est envoyé à Lyon pour réprimer la révolte des canuts. La famille revient à Paris en 1836. En 1839, Jacques Aupick devient général de brigade et commandant du département de la Seine et de la Place de Paris. Il est nommé général de division et commandant de l’École polytechnique en 1847. Envoyé extraordinaire et ministre plénipotentiaire à Constantinople sous la Seconde République, ambassadeur à Madrid en 1851, sénateur en 1853, il meurt à Paris le , quelques semaines avant la parution des "Fleurs du Mal".