סמית' נולד בווייט פליינס, ניו יורק. סמית' שירת בחיל הים האמריקאי, וקיבל את תואר ראשון באוניברסיטת פנסילבניה בשנת 1955 ואת תואר הדוקטור מאוניברסיטת שיקגו בשנת 1959 עם עבודת מחקר של שמונה עמודים בלבד. הוא עבד במעבדות בל במורי היל, ניו ג'רזי מ-1959 ועד פרישתו בשנת 1986, שם הוביל מחקר על לייזרים ורכיבי חצי מוליכים חדשים. במהלך כהונתו, סמית' זכה לעשרות פטנטים ובסופו של דבר הוביל את מחלקת מכשיר VLSI. בשנת 1969, סמית' וווילארד בויל המציאו את מכשיר ה-Charge-Coupled Device (CCD), שבשבילו הם זכו במדליה סטוארט באלנטיין של מכון פרנקלין בשנת 1973, בפרס NEEE מוריס ליבמן בשנת 1974, בפרס צ'ארלס דרייפר סטארק בשנת 2006 ובפרס נובל בפיזיקה בשנת 2009.
חיל הים האמריקאי