כרמי גילון הוא בן למשפחת משפטנים ידועה משכונת רחביה שבירושלים. סבו, גד פרומקין, היה שופט בבית המשפט העליון בתקופת המנדט הבריטי. סבתו, חנה פרומקין (בתו של אהרן אייזנברג, ממייסדי רחובות), הייתה נשיאת "בנות ברית" בירושלים. אביו, קולין גילון, היה פרקליט המדינה ואמו, סעדה, הייתה המשנה ליועץ המשפטי לממשלה. אחיו, אלון גילון, שימש אף הוא כמזכיר וכסגן רשם בבית משפט העליון וסגן מנהל מערכת בתי המשפט הישראלית, ואחותו יעל נישאה לדב (דובי) שילוח, בנו של ראש המוסד לשעבר ראובן שילוח. גילון למד בגימנסיה רחביה ובאקדמיה למוזיקה.
איזו עיר ייסד אבא של סבתו של כרמי גילון?
רחובות