大御所時代
1793年、寛政の改革を主導した松平定信が失脚すると、定信の政策は老中首座松平信明らによって受け継がれた。しかし、1817年信明が病死すると、家斉は寛政の遺老達を遠ざけ、かつて田沼意次派に属した水野忠成を老中首座に任じた。忠成のもと賄賂政治が横行し、幕府財政の破綻、幕政の腐敗、綱紀の乱れを生じた。家斉自身も豪奢な生活を送るようになった。
樽屋与左衛門
寛政の改革において、老中松平定信に重用され、札差仕法改革に参与して様々な献策をしており、棄捐令の作成にもその意見の多くが取り入れられている。寛政元年（1789年）の棄捐令の発令後も、札差仕法の専任担当者に選ばれ、さらに猿屋町貸金会所の運営も任され、会所の建物が竣工されるまで樽屋の役宅を札差掛の役所として使うこととなった。