Jedoch scheiterte er damit sein Publikum von der Kolonisation zu überzeugen, so dass er begann an seiner Effektivität zu zweifeln und der Akzeptanz der Sklaverei. 1832 entschloss er sich nach Danville, Kentucky zurückzukehren.