斎藤一
父・山口右助、母・ますの三子として生まれたとされる。姉に勝（ひさ）、兄に廣明。出身地は江戸。播磨国ともいわれるが、父が明石出身であったことから明石浪人を名乗ったようである。父・右助は播磨国明石藩の足軽であったが、江戸へ下り石高1,000石の旗本・鈴木家に仕えたと言う。後年、御家人株を買って御家人になったというが、実際は鈴木家の公用人（家来）だった。
斎藤三郎右衛門
先祖代々「三郎右衛門」を名乗る田川郡渡前村の大地主素封家に生まれ幼名は鉄之助という。幼少より勉学に励み慶應義塾入学を目指し上京するが、母の死を期に郷里に戻る。以後、地元で子供たちの指導育成に努めた。