大御所時代
1793年、寛政の改革を主導した松平定信が失脚すると、定信の政策は老中首座松平信明らによって受け継がれた。しかし、1817年信明が病死すると、家斉は寛政の遺老達を遠ざけ、かつて田沼意次派に属した水野忠成を老中首座に任じた。忠成のもと賄賂政治が横行し、幕府財政の破綻、幕政の腐敗、綱紀の乱れを生じた。家斉自身も豪奢な生活を送るようになった。
土倉一之
寛政3年（1791年）6月、仕置家老となる。寛政9年（1797年）、藩政改革を志す藩主池田斉政に守旧派として責任を問われ、仕置職を辞職する。しかしながら、反対派の激しい抵抗で岡山藩における寛政の改革が頓挫し、改革派が次々と罷免されると、寛政12年（1800年）3月、再び仕置家老として復帰した。