Hayabu5a commited on
Commit
a2eac3b
·
verified ·
1 Parent(s): 75045ca

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +22 -17
app.py CHANGED
@@ -1,43 +1,48 @@
1
  from transformers import pipeline
2
  import gradio as gr
3
- import time
4
 
5
  MODELS = {
6
- "TinyDE": "malteos/tinyllama-1.1B-step-50K-105b", # Kleinere Variante
7
- "DistilBERT": "distilbert-base-german-cased",
8
  "GPT2": "gpt2"
9
  }
10
 
11
  def respond(message, history, model_choice):
12
  try:
13
- # Fortschrittsbalken anzeigen
14
- yield "🔄 Modell wird geladen... (bitte 15-30s warten)"
 
 
 
15
 
16
- # Modell laden
17
  generator = pipeline(
18
  'text-generation',
19
  model=MODELS[model_choice],
20
- max_new_tokens=50 # Antwortlänge begrenzen
 
 
21
  )
22
 
23
- # Antwort generieren
24
- response = generator(message)[0]['generated_text']
25
- yield response
 
 
26
 
27
  except Exception as e:
28
- yield f"❌ Fehler: {str(e)}\n\n🔧 Tipp: Probier ein anderes Modell aus!"
29
 
30
- # Dropdown mit kleineren Modellen
31
  gr.ChatInterface(
32
  respond,
33
  additional_inputs=[
34
  gr.Dropdown(
35
  list(MODELS.keys()),
36
  label="Modell",
37
- value="TinyDE",
38
- info="TinyDE für Deutsch, GPT2 für Englisch"
39
  )
40
  ],
41
- title="🤖 LLM Lernlabor",
42
- description="Wähle ein Modell und starte das Gespräch"
43
- ).launch(debug=True)
 
1
  from transformers import pipeline
2
  import gradio as gr
 
3
 
4
  MODELS = {
5
+ "German GPT": "dbmdz/german-gpt2",
6
+ "TinyDE": "malteos/tinyllama-de",
7
  "GPT2": "gpt2"
8
  }
9
 
10
  def respond(message, history, model_choice):
11
  try:
12
+ # Konversationsverlauf erstellen
13
+ prompt = ""
14
+ for human, assistant in history:
15
+ prompt += f"Mensch: {human}\nKI: {assistant}\n"
16
+ prompt += f"Mensch: {message}\nKI:"
17
 
18
+ # Pipeline mit optimierten Parametern
19
  generator = pipeline(
20
  'text-generation',
21
  model=MODELS[model_choice],
22
+ max_new_tokens=80,
23
+ num_beams=2,
24
+ temperature=0.7
25
  )
26
 
27
+ # Antwort generieren und bereinigen
28
+ full_response = generator(prompt)[0]['generated_text']
29
+ response = full_response.split("KI:")[-1].split("\n")[0].strip()
30
+
31
+ return response
32
 
33
  except Exception as e:
34
+ return f"❌ Fehler: {str(e)}"
35
 
 
36
  gr.ChatInterface(
37
  respond,
38
  additional_inputs=[
39
  gr.Dropdown(
40
  list(MODELS.keys()),
41
  label="Modell",
42
+ value="German GPT",
43
+ info="German GPT für beste deutsche Ergebnisse"
44
  )
45
  ],
46
+ title="🤖 Verbesserter LLM Chat",
47
+ description="Wähle 'German GPT' für kohärentere Antworten"
48
+ ).launch()