Llama 3 lokal und offline nutzen
Meta AI mit Llama 3: Neue KI-Assistenz – in Deutschland über Umwege
Der Facebook-Mutterkonzern Meta hat Ende der vergangenen Woche sein neues KI-Sprachmodell Llama 3 präsentiert. Der offen entwickelte Chatbot soll auf Augenhöhe mit ChatGPT-4 arbeiten, ist grundsätzlich kostenfrei erhältlich und lässt sich, die entsprechenden Softwarelösungen vorausgesetzt, auch ohne aktive Internetverbindung lokal auf den eigenen Geräten einsetzen.
Meta selbst hat angekündigt, fast alle der hauseigenen Anwendungen um eine neue KI-Assistenz auf Basis von Llama 3 zu erweitern. Diese lässt sich nicht nur im Web auf www.meta.ai nutzen, sondern wird auch die iPhone-Anwendungen Facebook, Instagram, WhatsApp und den Facebook Messenger erreichen.
Der Rollout wird hier allerdings vorerst außerhalb Deutschlands stattfinden. Während die neue KI-Assistenz fortan etwa auch in Australien, Kanada, Jamaika, Neuseeland, Singapur und Südafrika angeboten wird, gilt für hiesige Anwender bis auf Weiteres: "Meta AI isn't available yet in your country".
Llama 3 in Eigenregie nutzen
Dies bedeutet jedoch nicht, dass ihr einen Bogen um das gänzlich kostenfreie Sprachmodell machen müsst. Mit den richtigen Anwendungen lässt sich Llama 3 auch auf den Mac oder auf das eigene iPhone laden und hier ohne weitere Abhängigkeiten einsetzen.
Auf dem Mac bietet sich dazu etwa die Anwendung GPT4All an. Ist diese installiert, muss nur noch das vier Gigabyte große Llama 3-Modell nachgeladen und ausgeführt werden, um den vollen Zugriff auf die neue KI-Assistenz zu bekommen.
Private LLM for iOS v1.7.8 is now live on the App Store. 🎉 Experience the power of the latest Llama 3 8B Instruct model from @AIatMeta, running privately, fully on-device with no internet connection or telemetry. Works on all Pro, Pro Max iPhones and Apple Silicon iPads. Also,… pic.twitter.com/WlnYgZyZW6
— Private LLM (@private_llm) April 20, 2024
Auf dem iPhone lässt sich das neue Llama 3-Modell mithilfe des kostenpflichtigen Downloads Private LLM herunterladen und ausführen. Seit dem 20. April steht die Anwendung in Version 1.7.8 zur Verfügung und ist in der Lage, Metas neues KI-Modell vollständig lokal auszuführen.