Der Launch des neuesten AI-Modells GPT-4o (hinten steht ein kleines „o“, kein Nuller) von OpenAI hat ordentlich Wellen geschlagen. Denn es ermöglicht erstmals, dass man mit einem Computer quasi in Echtzeit sprechen kann, ohne störende Verzögerungen und Latenzzeiten in Kauf nehmen zu müssen. In Gestalt von ChatGPT reagiert GPT-4o sogar so schnell, dass man es unterbrechen und das Thema wechseln kann. Nutzer:innen der kostenpflichtigen ChatGPT-Versionen haben auch bereits Zugang zu dem neuen AI-Modell, auch wenn die neue Echtzeit-Stimme noch nicht verfügbar ist (mehr dazu hier).
Während man nun davon ausgehen kann, dass ChatGPT immer stärker zu einem echten Rivalen von Sprachassistenten wie Siri (Apple) oder Alexa (Amazon) wird, lässt GPT-4o auch in anderer Hinsicht die Muskeln spielen – nämlich beim Coding. Bei Tests von Aider, das sich intensiv mit AI-gestützter Programmierung beschäftigt, zeigt sich nämlich, dass GPT-4o deutlich besser Code editieren kann als sämtliche andere LLMs, darunter Claude 3 Opus von Anthropic, Gemini 1.5 Pro von Google und natürlich sämtliche andere GPT-Varianten von OpenAI selbst.
GPT-4o ist aber nicht in allen Belangen die Nummer 1, beim Thema Refactoring liegt das neues AI-Modell von OpenAI nämlich noch hinter Claude 3 Opus von Anthropic. „GPT-4o führt das Aider LLM Code-Editing-Leaderboard mit 72,9% an, gegenüber 68,4% für Opus. GPT-4o belegt den zweiten Platz in der Refactoring-Rangliste von Aider mit 62,9 % gegenüber Opus mit 72,3 %“, heißt es. „GPT-4o hat viel besser abgeschnitten als die 4-Turbo-Modelle und scheint viel weniger faul zu sein.“
Bereits als „GPT2-Chatbot“ seit Wochen unterwegs
Die vorliegenden Werte gelten also nur für Aufgaben im Coding-Bereich. Über die Performance bei längeren Prompts, Mathematik oder Sprachen sagt das noch nichts aus. GPT-4o wurde in den vergangenen Wochen bereits unter dem Codenamen „gpt2-chatbot“ etwa über die mittlerweile bekannte Chatbot Arena verfügbar gemacht und hat dort viele andere LLMs in den schatten gestellt. Man kann davon ausgehen, dass GPT-4o demnächst mit ziemlich guten Werten in der Chatbot Arena glänzen wird.
Das bedeutet einerseits, dass ChatGPT-Nutzer:innen bzw. Entwickler:innen, die die API von OpenAI anzapfen, mit deutlichen Verbesserungen rechnen können, und andererseits, dass auch der Mitbewerb gefordert ist, nachzulegen. GPT-4o dürfte ein Zwischenschritt für GPT-5 sein, dessen Release noch 2024 erwartet wird. Ab heute, Dienstag, Abend, wird Google auf seiner I/O-Konferenz zeigen, was es mit Gemini und Co gegen OpenAI auffahren wird.