השלים את המשפט הבא: גרדנר נסע עם ג'יימס מדיסון לפילדלפיה בשנת 1780, שם מדיסון שירת ב
הקונגרס היבשתי. מדיסון היה קצר במזומנים ב-1782, אבל רצה לרכוש ספרים פילוסופיים, כולל "לויתן" של תומאס הובס. בניסיון לרכוש את הספרים האלה, הוא שקל למכור את גרדנר כדי לשלם עבורם. חוקי פנסילבניה היו הופכים את זה לבלתי אפשרי. באותה שנה, גרדנר גם ניסה לברוח, אך נתפס לאחר מכן.