נלסון נבחר על ידי הבולטימור קולטס בסיבוב ה-11 של הדראפט של ה-NFL ב-1957. לאחר ששיחק גם כקווטרבק וגם כנגן מגן בקולג', הקולטס הפכו אותו לשחקן מגן. נלסון החל 12 משחקים בעונה הראשונה שלו, עם 5 חסימות ל-29 יארד. בעונה שלאחר מכן, נלסון תיעד 8 חסימות ל-199 יארד וטצ'דאון אחד. הקולטס ימשיכו לנצח באליפות ה-NFL במה שהיה המשחק הראשון של ה-NFL עם מוות פתאומי במשחק ההארכה ומאז הפך להיות ידוע כ"המשחק הגדול ביותר שנשחק אי פעם". הקולטס היו חוזרים על זה ב-1959.
ובמהלך הקריירה שלו של שבע שנים עם הקולטס, נלסון היה מצטבר 33 אינטרספקטים עבור 378 יארד ו 3 טאצ'דאונים. הקולטס החליפו את נלסון לניו יורק ג'יינטס בעונת 1964, העונה האחרונה שלו ב-NFL.