Der Sohn des aus Frankreich geflohenen Kaufmanns Antoine Fraisse, der aus der Gegend von Privas im Vivarais stammte, wurde zunächst ebenfalls Kaufmann. 1760 wurde er Direktor der Chambre des Réfugiés.