南海電気鉄道
1884年に関西経済界の重鎮であった藤田伝三郎、松本重太郎、田中市兵衛、外山脩造らによって大阪堺間鉄道として設立され、1885年に難波 - 大和川（後に廃止）間を開業した阪堺鉄道を始まりとしている。阪堺鉄道は日本鉄道（半官半民）、東京馬車鉄道に次いで日本で3番目の私鉄として設立され、1883年に廃止された釜石鉱山鉄道の資材を用いて建設された。
伊原五郎兵衛
一方、恒次の父である8代目伊原五郎兵衛を中心とする上伊那郡・下伊那郡の有志は、上伊那郡伊那富村辰野（現辰野町）から飯田町に至る電車鉄道の設立を、1894年（明治27年）に計画した。翌年2月に。辰野・飯田間の電車鉄道敷設請願書を内務大臣に提出した。ところが鉄道敷設の着工を前にした1906年3月、父五郎兵衛が急病で死亡したため、恒次は家業だけでなく、伊那電車軌道の建設も継ぐことになった。恒次は、五郎兵衛の名を襲名して9代目の伊原五郎兵衛を名乗り、伊那谷に電車を走らせるために奔走した。1907年（明治40年）9月、伊那電車軌道株式会社（本社：東京市小石川区）が設立され、社長には辻新次（松本市出身）が就任した。第1期線として辰野・伊那町（現伊那市）間の路線実測と発電所の測量を行い、翌1908年に用地買収と軌道工事を始める。1909年12月28日、辰野－伊那松島間が開通し、長野県初の電車が開通した。1923年（大正12年）8月に飯田まで開通させ、辰野－天竜峡間が全通したのは1927年（昭和2年）12月だった。五郎兵衛は、太平洋側にまで鉄道を延伸させることを目標にしており、伊那電車軌道を伊那電気鉄道と改め、五郎兵衛は専務取締役として経営にあたる。太平洋側までの延伸を実現させるために1915年（大正4年）の第12回衆議院議員総選挙に立候補したが落選、1928年（昭和3年）の第1回普通選挙（第16回衆議院議員総選挙）で当選したが、政界は水に合わず1期で引退した。