Sein Schwager Jean Jacques Alfred Alexander Mouton wurde ebenfalls ein prominenter General der Konföderierten und sein Schwiegervater heiratete nach dem Tod seiner ersten Frau Gardners ältere Schwester.