Von 1782 bis 1793 befand sich das Palais im Besitz des späteren preußischen Staatskanzlers Karl August von Hardenberg (1750–1822), der in dieser Zeit als braunschweigischer Minister mit der Reform des Schulwesens betraut war.