Withers, der nach seiner Einwanderung aus England mit Downing zusammenarbeitete, erwies sich nach dessen Tod gemeinsam mit dem gelegentlichen Mitarbeiter Calvert Vaux als Downings geistige Erben und Nachfolger.