Nach dem Ende seiner Zeit im Repräsentantenhaus arbeitete Leffler wieder als Anwalt und begann sich auch in der Landwirtschaft zu engagieren. 1856 bewarb er sich erfolglos um eine Rückkehr in das US-Repräsentantenhaus.