Kleine Information und Lebenszeichen :-)
Wir möchten euch heute ein kleines Update zu unserer Arbeit an der neuen EvaGPT-German-Version geben:
Leider kämpfen wir derzeit noch mit einigen Problemen, insbesondere bei Linux-Versionen (wie z. B. Ubuntu), die sich bei Updates immer mehr an Windows annähern. Hinzu kommt, dass Nvidia häufiger Änderungen an den Treibern vornimmt, was zusätzliche Herausforderungen mit sich bringt. Aus diesen Gründen müssen wir aktuell auf CPU-Training ausweichen, was leider die Trainingsdauer erheblich verlängert.
Doch keine Sorge – wir bleiben dran! 💪
Ein großes Highlight möchten wir dennoch mit euch teilen: Die neue EvaGPT-German-Version wurde erfolgreich auf 3,18 Milliarden Parameter reduziert und basiert weiterhin auf der bewährten Llama-Struktur. Durch den neuen, speziell angepassten Tokenizer konnten wir die Leistung im Bereich der deutschen Sprache jedoch erheblich steigern!
Unser bisheriges 7B-Modell, das auf der Mistral-Struktur basiert, stieß bei der Verarbeitung der komplexen deutschen Sprache an seine Grenzen. Mit dem neuen Tokenizer lassen sich jedoch selbst im kompakten 3.18B-Modell beeindruckende Ergebnisse erzielen – und das bei deutlich besserer Performance!
Vielen Dank für eure Geduld und euer Verständnis – wir arbeiten mit Hochdruck daran, euch die neue EvaGPT-German-Version bald präsentieren zu können. Bis dahin: Abwarten und Tee trinken! 🫖
#TechUpdate #EvaGPTGerman #KIEntwicklung #MadeForGermanLanguage