Eine negative Kritik erhält der Song von dem Austin Chronicle-Kritiker Greg Beets, der zwar in With or Without You ebenfalls die Hauptsingle des Albums sieht, aber mit der musikalischen Interpretation des Textes nicht zufrieden ist.