Tema viimasel aastal toimus kuningliku perekonna skandaal, mida tuntakse kui Tour de Nesle afääri.
, kus Philip kolm tütre-in-law süüdistati abielurikkumise. Tema kolm poega olid järjestikku Prantsusmaa kuningad: Louis X, Philip V ja Charles IV. Nende kiire järjestikune surm ilma oma ellujäänud poegadeta ohustaks Prantsuse kuningliku maja tulevikku, mis oli seni tundunud turvaliseks, kiirendades pärimiskriisi, mis lõpuks viiks sajade aastate sõjani (1337-1453).