ניקולסון נולד ב-22 באפריל 1937, בעיר נפטון, ניו ג'רזי, בנו של נערת מופע, ג'ון פרנסיס ניקולסון (שם הבמה ג'ון נילסון). אמו של ניקולסון הייתה ממוצא אירי, אנגלי וגרמני. היא התחתנה עם השחקן האיטלקי-אמריקאי דונלד פרסילו (שם הבמה דונלד רוז) בשנת 1936, לפני שהבחין שהוא כבר נשוי. הביוגרף פטריק מקגילגן ציין בספרו Jack's Life כי אדי קינג (מקורו אדגר א. קירשפלד), המנהל של ג'ון, אולי היה האב הביולוגי של ניקולסון, ולא פרסילו. מקורות אחרים הציעו כי ניקולסון לא היה בטוח מי היה האב הביולוגי. היות שג'ון היה בן שבע עשרה בלבד, וההורים שלה לא היו נשואים, הסכימו לגדל את ניקולסון כילד שלהם מבלי לחשוף את מוצא הוריה האמיתי. אמו של ניקולסון הלכה לבית הספר התיכון האיטלני-אמ
אדי קינג