Er war das vierte von sechs Kindern des preußischen Generals der Kavallerie Franz Heinrich von Waldersee (1791–1873) und dessen Ehefrau Bertha Wilhelmine Friederike, geborene von Hünerbein (* 20. März 1799 in Berlin; † 24. Januar 1859 in Posen).