Mark Richardson von Pitchfork Media lobte die Doppel-CD und verteilte 8,6 von 10 Sternen; er war jedoch enttäuscht, dass die Songs When You Were Mine (1980) von Dirty Mind und Erotic City (1984) nicht auf Ultimate zu finden sind.