代码初始化

inference/inference.py

@@ -95,7 +95,7 @@ async def chat_completion(token: str = Body(...), messages: list = Body(...)):
 
         # 使用 chat API 请求生成模型的回答  备选模型  google/gemma-2-2b-it
         completion = client.chat.completions.create(
-            model="mistralai/Mistral-Nemo-Instruct-2407",
+            model="google/gemma-2-2b-it",
             messages=messages,
             max_tokens=500
         )