Во время учебы в колледже Баллмер руководил футбольной командой, работал в газете The Harvard Crimson, а также в Harvard Advocate и жил в соседнем коридоре со своим второкурсником Биллом Гейтсом.
Во время учебы в колледже Баллмер руководил шахматной командой, работал в газете Daily News, а также в Daily Star и жил по соседству с другим мальчиком Джеймсом Мэем.