添加 CORS 和信任主机中间件，优化预测路由的异步处理，调整 Gunicorn 配置以提高性能

app.py

@@ -2,7 +2,8 @@ import os
 from fastapi import FastAPI
 from pydantic import BaseModel
 from fastapi.middleware.wsgi import WSGIMiddleware
-
+from fastapi.middleware.cors import CORSMiddleware
+from fastapi.middleware.trustedhost import TrustedHostMiddleware
 
 from transformers import pipeline
 
@@ -11,6 +12,21 @@ from us_stock import fetch_symbols
 
 app = FastAPI()  # 创建 FastAPI 应用
 
+# 添加 CORS 中间件和限流配置
+app.add_middleware(
+    CORSMiddleware,
+    allow_origins=["*"],
+    allow_credentials=True,
+    allow_methods=["*"],
+    allow_headers=["*"],
+)
+
+# 添加信任主机中间件
+app.add_middleware(
+    TrustedHostMiddleware,
+    allowed_hosts=["*"]
+)
+
 # 定义请求模型
 class TextRequest(BaseModel):
     text: str
@@ -45,16 +61,20 @@ async def initialize_symbols():
     # 在 FastAPI 启动时初始化变量
     await fetch_symbols()
 
+# 优化预测路由
 @app.post("/api/predict")
 async def predict(request: PredictRequest):
     from blkeras import predict
 
     try:
-        input_text = request.text  # FastAPI 会自动解析为 PredictRequest 对象
-        affected_stock_codes = request.stock_codes
-        print(f"Input Text Length: {len(input_text)}, Start with: {input_text[:200] if len(input_text) > 200 else input_text}")
-        print("Input stock codes:", affected_stock_codes)
-        return predict(input_text, affected_stock_codes)
+        # 使用 asyncio.to_thread 将同步操作转换为异步
+        import asyncio
+        result = await asyncio.to_thread(
+            predict, 
+            request.text, 
+            request.stock_codes
+        )
+        return result
     except Exception as e:
         return {"error": str(e)}
 

blkeras.py

@@ -100,6 +100,9 @@ def predict(text: str, stock_codes: list):
 
     try:
 
+        print(f"Input Text Length: {len(text)}, Start with: {text[:200] if len(text) > 200 else text}")
+        print("Input stock codes:", stock_codes)
+
         start_time = datetime.now()
         input_text = text
         affected_stock_codes = stock_codes

gunicorn.conf.py

@@ -3,24 +3,31 @@ import multiprocessing
 # 监听地址和端口
 bind = "0.0.0.0:7860"
 
-# 工作进程数，这里设置为 CPU 核心数 * 2 + 1
-workers = min(multiprocessing.cpu_count() + 1, 3)
+# 修改工作进程数配置策略
+# 对于CPU密集型应用，建议设置为 CPU核心数 + 1
+workers = multiprocessing.cpu_count() + 1
+
+# 每个工作进程的线程数
+# 设置为2，增加并发处理能力
+threads = 2
 
 # 工作方式
-# 方案1: 使用 Uvicorn 的 worker (推荐)
 worker_class = "uvicorn.workers.UvicornWorker"
 
-# 方案2: 使用 Uvicorn 的 worker 并开启 HTTP/2
-# worker_class = "uvicorn.workers.UvicornH2Worker"
+# 提高每个工作进程的并发连接数
+worker_connections = 2000
 
-# 方案3: 使用传统的同步 worker (不推荐，会损失 FastAPI 的异步特性)
-# worker_class = "sync"
+# 优化工作进程配置
+#max_requests = 1000        # 工作进程处理多少个请求后自动重启
+#max_requests_jitter = 50   # 添加随机重启偏差，避免同时重启
+#graceful_timeout = 120     # 优雅重启超时时间
 
-# 超时时间
-timeout = 300
+# keepalive超时设置
+#keepalive = 5             # 保持连接超时时间
 
-# 并发客户端最大数量
-worker_connections = 1000
+# 工作模式
+worker_tmp_dir = "/dev/shm"  # 使用内存文件系统提高性能
+preload_app = True           # 预加载应用，减少启动时间
 
 # 进程名称前缀
 proc_name = 'gunicorn_fastapi'