Zum ersten Mal wurde die Konferenz im Mai 1954 auf Einladung von Prinz Bernhard der Niederlande in dem damals ihm gehörenden Hotel de Bilderberg in Oosterbeek in den Niederlanden veranstaltet, der Name Bilderberg wurde vom ersten Tagungsort übernommen.