Für Llama 2, Mistral, Vicuna und Co.
Enchanted LLM: KI-App für selbst verwaltete Sprachmodelle
Zwar gibt der KI-Chatbot ChatGPT nach wie vor den Ton an, allerdings ist das Angebot von OpenAI nicht alternativlos. Im Netz bieten sich zahlreiche Chatbots von Drittanbietern wie Meta an, die sich lokal und kostenlos nutzen lassen. Anwendungen wie Private LLM machen den Einsatz alternativer Sprachmodelle dabei schon länger auch direkt auf dem iPhone möglich.
App für selbst verwaltete Sprachmodelle
Mit der noch recht jungen Universal-App Enchanted LLM steht nun auch eine gänzlich kostenfreie Anwendung für iPhone, Mac und Vision Pro zur Verfügung, die es euch ermöglicht, mit selbst gehosteten KI-Modellen zu interagieren.
Die Enchanted-App unterstützt die Ollama API und ist kompatibel mit Modellen wie Mistral, Vicuna und anderen. Um Enchanted nutzen zu können, muss in den Einstellungen der Open-Source-Anwendung lediglich ein aktiver Ollama-Server eingetragen werden.
Anwender können schnell zwischen verschiedenen Modellen wechseln, um ihre Eingaben zu testen. Zudem unterstützt die App Markdown, ist also in der Lage, Tabellen, Listen und Codeblöcke ansprechend zu formatieren. Läuft der Ollama-Server im eigenen Heimnetzwerk, kann die Anwendung vollständig offline eingesetzt werden.
Viele Komfort-Funktionen an Bord
Zu den weiteren Funktionen von Enchanted gehören die Text-zu-Sprache-Funktion, die Einbeziehung der Gesprächshistorie in API-Aufrufe, ein Dunkel- und Hellmodus sowie die Speicherung der Gesprächshistorie auf dem Gerät.
Zudem bietet die App Sprachsteuerung, die Möglichkeit, Bilddateien in den Eingaben anzuhängen, anpassbare Systemvorgaben für jede Konversation und die Option, Nachrichteninhalte zu bearbeiten oder mit einem anderen Modell erneut zu senden. Eine Löschfunktion für einzelne oder alle Konversationen und die Integration von Spotlight unter macOS runden das Angebot ab.
Zur Installation eines Ollama-Servers auf dem Mac eignet sich die Mac-Anwendung Ollama.