Sugiyama sündis endise "samurai" perekonna Kokura (nüüd osa Kitakyushu City), Fukuoka prefektuur, Sugiyama lõpetas 12. klassi Imperial Jaapani Armee Akadeemia aastal 1901. Ta teenis nooremohvitserina IJA 12. diviisi 14. rügemendi 3. pataljonis Vene-Jaapani sõjas ja sai Shaho lahingus näos haavata.
- Jah. Selle vigastuse armide tõttu ei suutnud ta oma paremat silma täielikult avada.