Und plötzlich sind sie wieder da. Nachdem in den letzten Monaten das Hauptaugenmerk auf AI-Modellen von OpenAI (Sora), Google (Gemini), Mistral AI und Anthropic (Claude) lag, meldet sich Mark Zuckerbergs Imperium zurück – und hat mit Llama 3 8B und 70B seine zwei neuesten, offenen AI-Modelle auf den Markt gebracht. Wirklich Open Source sind sie nicht, da man vor der Verwendung die Nutzungsbedingungen von Meta zustimmen muss.
Jedenfalls aber ist Llama 3 70B auch sofort in die mittlerweile sehr wichtige Chatbot Arena aufgenommen worden. Dort können Nutzer:innen jeweils zwei AI-Modelle gegeneinander bei beliebigen Aufgaben gegeneinander antreten lassen und dann bewerten, welches Modell eine bessere Antwort geliefert hat. Daraus entsteht das viel beachtete Ranking, das aktuell (wieder) von GPT-4 bzw. GPT-4 Turbo von OpenAI dominiert wird, gefolgt von Claude 3 von Anthropic und Gemini Pro von Google.
Dahinter gibt es aber eine neue Nummer 4 bzw. Nummer 5(je nachde, ob man Versionen eines Modell zurammenfasst oder nicht). Denn Llama 3 70B von Meta ist hoch im Ranking eingestiegen und hat damit etwa das ebenfalls sehr neue Command R+ von Cohere oder Mistral Large von Mistral Ai auf die Plätze verwiesen. Hier die aktuellen Top 10:
Rank
|
🤖 Model
|
⭐ Arena Elo
|
📊 95% CI
|
🗳️ Votes
|
Organization
|
License
|
Knowledge Cutoff
|
---|---|---|---|---|---|---|---|
1
|
1259
|
+5/-5
|
21448
|
OpenAI
|
Proprietary
|
2023/12
|
|
1
|
1254
|
+4/-4
|
66858
|
OpenAI
|
Proprietary
|
2023/4
|
|
1
|
1253
|
+3/-3
|
66357
|
Anthropic
|
Proprietary
|
2023/8
|
|
2
|
1249
|
+3/-4
|
54002
|
OpenAI
|
Proprietary
|
2023/12
|
|
5
|
1209
|
+6/-6
|
12435
|
Google
|
Proprietary
|
Online
|
|
5
|
1202
|
+3/-3
|
69817
|
Anthropic
|
Proprietary
|
2023/8
|
|
5
|
1198
|
+9/-11
|
2754
|
Meta
|
Llama 3 Community
|
2023/12
|
|
7
|
1193
|
+3/-3
|
37752
|
Cohere
|
CC-BY-NC-4.0
|
2024/3
|
|
7
|
1189
|
+4/-4
|
45288
|
OpenAI
|
Proprietary
|
2021/9
|
|
10
|
1181
|
+3/-3
|
61623
|
Anthropic
|
Proprietary
|
2023/8
|
Bei Englisch mit GPT-4 Turbo gleichgezogen
Was aber besonders stark bei Llama 3 70B ist, dürfte der englischsprachige Output sein. Denn wenn man das Ranking lediglich nach dem Aspekt der englischen Sprachen filtert, dann sieht man, dass Metas neuestes und stärkstes AI-Modell mit GPT-4 von OpenAI gleichzegogen ist und punktemäßig nur knapp hinter GPT-4 Turbo landet. Das bedeutet auch, dass es im Englischen besser ist als den anderen neuen Schöpfungen der Startups Mistral AI und Anthropic sowie Google.
Da Llama 3 70B nun schrittweise in Form des Chatbots Meta AI in die vier Social-Media-Apps Facebook, Instagram, WhatsApp und Messenger verbaut wird, kann man davon ausgehen, dass die User dort eine Experience erwartet, die sie in der Qualität bereits von ChatGPT kennen. Das ist nicht zu unterschätzen, weil es viele Leute, die ChatGPT lediglich privat nutzen, weg von der Gratis-Version holen könnte. OpenAI kürzlich versucht, dem vorzugreifen, und die Nutzung der kostenlosen Version von ChatGPT niederschwelliger gemacht – es braucht nun kein Login mehr, um sich schnell eine Frage beantworten zu lassen.