גארדנר נסע עם ג'יימס מדיסון לפילדלפיה בשנת 1780, שם מדיסון שירת בקונגרס הקונטיננטלי
אני לא יודע. מדיסון היה קצר במזומנים ב-1782, אבל רצה לרכוש ספרים פילוסופיים, כולל "לויתן" של תומאס הובס. בניסיון לרכוש את הספרים האלה, הוא שקל למכור את גרדנר כדי לשלם עבורם. חוקי פנסילבניה היו הופכים את זה לבלתי אפשרי. באותה שנה, גרדנר גם ניסה לברוח, אך נתפס לאחר מכן.