Gardner reisis 1780. aastal James Madisoniga Philadelphiasse, kus Madison teenis Kontinentaalkongressis.
- Jah. Madisonil oli 1782. aastal vähe raha, kuid ta tahtis omandada filosoofia raamatuid, sealhulgas Thomas Hobbes'i "Leviathan". Proovides neid raamatuid omandada, mõtles ta Gardnerit müüa, et nende eest maksta. Pennsylvania seadused oleksid seda võimatu teinud. Sel aastal üritas Gardner ka põgeneda, kuid ta võeti hiljem kinni.