הרעיון המקורי ל"גן המילים" בא מהרצון של שינקאי ללכוד את יופיו של הנוף היומיומי בטוקיו המודרנית ולהציג אותו בסרט. לאחר שחי במשך עשר שנים בשינג'וקו, הוא בחר אותו כמקום הסרט והחל לצלם אלפי תמונות, שעליהן הוא יצר את לוחי התכנון שלו. מתוך רצון לחלוק את השלום וההרמוניה של המקומות האהובים עליו ביפן בתקווה שזה יעודד אנשים לבקר, שינקאיי עיצב את הגן בסרט כדי להתאים את הגן הלאומי שינג'וקו ג'ואן בטוקיו. בעקבות רעידת האדמה במרץ 2011
, הוא היה מודאג כי זה יכול להיות נהרס ורצה לשמר אותו בסרט אנימציה.