Open-source AI-specialist Mistral heeft recent zijn nieuwe LLM Mixtral 8x22B geïntroduceerd. Dit LLM is de opvolger van het Mixtral 8x7B LLM en moet een gelijkwaardige concurrent vormen voor LLM's als GPT 3.5 van OpenAI en Llama 2 van Meta.
Mistral AI voert de concurrentie met de grote aanbieders van LLM's op en heeft nu zijn laatste open-source LLM Mixtral 8x22B gepresenteerd. De context window bestaat uit 65.000 tokens, wat verwijst naar de hoeveelheid tekst die het kan verwerken en tegelijkertijd aan kan refereren.
Daarnaast heeft het nieuwe LLM een omvang van 176 miljard parameters, ofwel variabelen waarmee het beslissingen kan nemen en eventuele voorspellingen doen.
Betere prestaties
Volgens de Franse open-source AI-specialist presteert het nieuwe model beter dan het voorgaande Mixtral 8x7B-topmodel. Hiervoor beschikt het model over een geavanceerde 'mixture-of-experts'-architectuur voor het uitvoeren van efficiënte berekeningen en het leveren van hoge prestaties voor verschillende taken.
Deze specifieke architectuur gebruikt een combinatie van verschillende modellen, waarbij ieder model specifiek 'werkt' voor een verschillende categorie aan taken. Dit moet de prestaties verbeteren en (rekenkracht)kosten verlagen.
Het nieuwe LLM hoeft hierdoor ondanks zijn enorme grootte van 176 miljard parameters, slechts 44 miljard actieve parameters te gebruiken voor iedere stap in het rekenproces of 'forward pass'. Dit maakt het volgens Mistral AI sneller en ook meer kosteneffectiever dan vergelijkbare LLM's als GPT 3.5 en Llama 2.
'Stille' introductie via torrent
Het nieuwe Mixtral 8x22B-model is recent min of meer in stilte gelanceerd. Op het X-account van de Franse AI-specialist verscheen op 10 april een opmerkelijke torrent-link waarmee gebruikers het nieuwe model kunnen downloaden. Het nieuwe LLM van Mistral AI kwam later ook beschikbaar op de AI-platforms HuggingFace en Together AI.
Zelf heeft Mistral AI bij het schrijven van dit artikel nog geen mededeling over de komst van het Mixtral 8x22B LLM gedaan.
Meer nieuwe LLM-lanceringen
Mistral AI is niet de enige AI-gigant die deze week nieuwe versies van LLM's introduceert. OpenAI heeft onlangs de nieuwste iteratie van GPT 4-Turbo, GPT-4 Turbo with Vision, gepresenteerd. Google bleef niet achter en maakte op Google Next '24 het Gemini Pro 1.5 LLM algemeen beschikbaar. Meta kondigde verder aan deze maand nog Llama 3 te presenteren.
Lees ook: Llama 3 binnen enkele weken beschikbaar