斎藤一
父・山口右助、母・ますの三子として生まれたとされる。姉に勝（ひさ）、兄に廣明。出身地は江戸。播磨国ともいわれるが、父が明石出身であったことから明石浪人を名乗ったようである。父・右助は播磨国明石藩の足軽であったが、江戸へ下り石高1,000石の旗本・鈴木家に仕えたと言う。後年、御家人株を買って御家人になったというが、実際は鈴木家の公用人（家来）だった。
斎藤正義
関白近衛稙家の庶子に生まれ、13歳の時、父稙家に家臣の瀬田左京を付けられて、比叡山横川恵心院に出家させられる。武事を好み、美濃国可児郡瀬田村出身と言われる左京の姉が斎藤道三の愛妾となっていた縁で、道三を頼ってその養子となる。ただし、大納言を称したことと、美濃斉藤氏持是院家の斎藤妙椿の孫の妙親が大納言を名乗っていることを関連付けて、斉藤氏の持是院家を継承した、とする説もある。