ואלי נולד ב-3 במאי 1934, כבן הבכור מבין שלושה בנים למשפחה איטלקית בווארד הראשון של ניוארק, ניו ג'רזי. אביו, אנתוני קסטלוצ'יו, היה מספר ומעצב תצוגה לרכבות מודל ליונל; אמו, מרי רינלדי, הייתה עקרת בית ועובדת בחברת הבירה. הוא קיבל השראה להתחיל קריירה שירה בגיל שבע לאחר שאמו לקחה אותו לראות את פרנק סינטרה הצעיר בתיאטרון פרמאונט במנהטן, ניו יורק. אחד הזמרים האהובים עליו היה "טקסס" ז'אן ואלי, ממנו אימץ את שם הבמה שלו. עד שהוא יכול לתמוך את עצמו במוזיקה, הוא עבד כברבר. שנת הלידה של ואלי הופקתה בספק. ואלי עצמו מעולם לא התייחס לעניין הקריירה, עד שפורסם ב-2007 באתר הרשמי של ואלי, בחסות חברת התקליטים יוניברסאל, שנקראה לו: "מה קרה לבן ארבעה?"
תקליטים אוניברסליים