Voltooi die volgende sin: Nelson is deur die Baltimore Colts in die elfde ronde van die 1957 NFL Draft gekies. Nadat hy in die kollege as quarterback en verdediger gespeel het, het die Colts hom 'n verdedigende speler gemaak. Nelson het 12 wedstryde in sy rookie-seisoen begin, met 5 onderskeppings vir 29 meter. Die volgende seisoen het Nelson 8 onderskepings vir 199 meter en 1 touchdown aangeteken. Die Colts het die NFL-kampioenskap gewen in wat die NFL se eerste wedstryd met skielike dood in die oortyd was en sedertdien wyd bekend geword het as "The Greatest Game Ever Played". Die Colts sou in
In 1959 en gedurende sy sewe jaar lange loopbaan by die Colts, het Nelson 33 totale onderskeppings vir 378 yards en 3 touchdowns gemaak. Die Colts het Nelson verruil na die New York Giants vir die 1964 seisoen, sy laaste in die NFL.