Dally studierte Elektrotechnik am Virginia Polytechnic Institute mit dem Bachelor -Abschluss, erwarb den Master -Abschluss in Stanford und wurde 1986 am Caltech bei Charles L. Seitz promoviert (A VLSI Architecture for Concurrent Data Structures).