Born into a scholarly and well-to-do family, Yang San Lang initially encountered resistance when he expressed his desire to paint.
他說：「我從小就喜歡塗塗抹抹嘛！」他記得，畫畫的興趣隨著年齡增長而加強，也因接觸到日本旅台畫家的油畫作品而益趨熾烈，但始終得不到家長的同意。不得已，楊三郎終於在十六歲那年以私渡日本的方式表示了決心，竟也換來家人不得不爾的諒解和支持。