פילידור נולד בצרפת ולמשפחה מוזיקלית במידה בלתי רגילה. בין אבות משפחתו רבו המוזיקאים, וגם הוא החל את הקריירה שלו בגיל שש במקהלה של המלך לואי ה-15. יש אומרים, שלואי ה-15 רצה לשמוע את המקהלה מדי יום ביומו ואילץ את הזמרים הצעירים להמתין לו שעות ארוכות. כדי לשעשע את עצמם בזמן ההמתנה שיחקו שחמט, וכך גילה פילידור את תחום ההתעניינות, שהיה עם הזמן לראשי בחייו. בגיל 11 ניסה את כוחו לראשונה בהלחנה וחיבר שיר, ובין השנים 1750 ל-1770 נחשב למלחין אופרה מוביל בצרפת (בין השאר את "טום ג'ונס", אופרה-קומיק, שהתבססה תחילה באופן רופף על הרומן עב הכרס של פילדינג, אך לאחר קבלת פנים פושרת מצד הקהל הצרפתי, עובדה על ידי מישל-ז'אן סדן ובגרסתה זו הייתה לאחת האופרות-קומיק הפופולריות ביותר בשלהי המאה ה-18), אך בהמשך נרתע מן התחרות בתחום המוזיקה ובחר להקדיש את חייו לשחמט.
מתי ניסה לראשונה פילידור להלחין ולחבר שיר?
בגיל 11