Smith is gebore in White Plains, New York. Smith het in die Amerikaanse vloot gedien, en daarna het hy sy B.Sc. graad van die Universiteit van Pennsylvania in 1955 en sy Ph.D. graad van die Universiteit van Chicago in 1959 met 'n proefskrif van slegs agt bladsye. Hy het by Bell Labs in Murray Hill, New Jersey gewerk van 1959 tot sy aftrede in 1986, waar hy navorsing gedoen het oor nuwe lasers en halfgeleiertoestelle. Gedurende sy ampstermyn het Smith tientalle patente ontvang en uiteindelik die departement van die VLSI-toestel gelei.
Amerikaanse Vloot