update api

config.py

@@ -56,4 +56,6 @@ APP_ENVIRONMENT = os.environ.get("APP_ENVIRONMENT")
 # CHECKPOINT_FILE = "processed_files.log"
 
 MONGODB_CLOUD_URI= os.environ.get("MONGODB_CLOUD_URI")
-DB_NAME= os.environ.get("DB_NAME")
+DB_NAME= os.environ.get("DB_NAME")
+
+GOOGLE_API_KEYS=os.environ.get("GOOGLE_API_KEYS", "")

dependencies.py

@@ -58,10 +58,10 @@ async def initialize_api_components(app_state: AppState):
         logger.error("🔸Lỗi kết nối tới MongoDB hoặc Weaviate.", mongo_db.users)
         raise HTTPException(status_code=500, detail="Lỗi kết nối tới database.")
 
-    app_state.google_api_key = os.environ.get("GOOGLE_API_KEY")
-    if not app_state.google_api_key:
-        logger.error("🔸GG API Key không được cung cấp.")
-        raise HTTPException(status_code=500, detail="Missing GG API Key")
+    # app_state.google_api_key = os.environ.get("GOOGLE_API_KEY")
+    # if not app_state.google_api_key:
+    #     logger.error("🔸GG API Key không được cung cấp.")
+    #     raise HTTPException(status_code=500, detail="Missing GG API Key")
 
     app_state.device = 'cuda' if torch.cuda.is_available() else 'cpu'
     logger.info(f"🔸Sử dụng thiết bị: {app_state.device}")
@@ -90,9 +90,23 @@ async def initialize_api_components(app_state: AppState):
     # 3. Tải LLM
     logger.info(f"🔸Đang tải LLM...")
 
-    llm = rag_components.get_google_llm(app_state.google_api_key)
-    app_state.llm = llm
-    logger.info(f"🔸Tải LLM (Groq) thanh cong")
+    # llm = rag_components.get_google_llm(app_state.google_api_key)
+    # app_state.llm = llm
+    if not config.GOOGLE_API_KEYS:
+        logger.error("🚨 BIẾN MÔI TRƯỜNG 'GOOGLE_API_KEYS' CHƯA ĐƯỢC THIẾT LẬP TRÊN HUGGING FACE SPACES!")
+        # Tại đây, bạn có thể dừng chương trình hoặc xử lý lỗi
+        google_api_keys_list = []
+    else:
+        google_api_keys_list = [key.strip() for key in config.GOOGLE_API_KEYS.split(',') if key.strip()]
+        logger.info(f"✅ Đã tìm thấy và tải {len(google_api_keys_list)} API key từ secrets.")
+
+    if not google_api_keys_list:
+        logger.error("🚨 KHÔNG CÓ GOOGLE API KEYS NÀO ĐƯỢC CẤP PHÁT!")
+        raise HTTPException(status_code=500, detail="No Google API keys found")
+
+    app_state.llm = rag_components.create_llm_from_google_key_list(google_api_keys=google_api_keys_list)
+
+
 
     if not app_state.llm:
         raise HTTPException(status_code=500, detail="Failed to load LLM")

rag_components.py

@@ -5,7 +5,7 @@ from langchain_core.prompts import ChatPromptTemplate
 from langchain_core.runnables import RunnableLambda, RunnablePassthrough
 from langchain_core.documents import Document
 import logging
-from langchain_core.output_parsers import StrOutputParser, JsonOutputParser
+from langchain_core.output_parsers import StrOutputParser
 from typing import List,Any,Dict
 from langchain_weaviate.vectorstores import WeaviateVectorStore
 from langchain_google_genai import ChatGoogleGenerativeAI
@@ -13,6 +13,7 @@ from utils.process_data import filter_and_serialize_complex_metadata
 import weaviate
 import weaviate.classes.config as wvc_config
 from weaviate.exceptions import WeaviateQueryException
+from google.api_core.exceptions import ResourceExhausted, PermissionDenied
 import time
 import json
 import re
@@ -310,7 +311,7 @@ def get_google_llm(google_api_key):
                 model="gemini-2.5-flash-preview-05-20",
                 google_api_key=google_api_key,
                 temperature=0.0, # Điều chỉnh nhiệt độ nếu cần, 0.1-0.3 thường tốt cho RAG
-                safety_settings={                 },
+                safety_settings={},
             )
 
         llm = create_chat_google()
@@ -321,6 +322,61 @@ def get_google_llm(google_api_key):
         logger.error(f"🔸Lỗi khi khởi tạo Google Generative AI LLM: {e}")
         return None
 
+def create_llm_from_google_key_list(google_api_keys: List[str]):
+    """
+    Khởi tạo một LLM duy nhất có khả năng tự động fallback qua một danh sách
+    các API key của Google.
+
+    Khi một key hết hạn mức (lỗi ResourceExhausted), nó sẽ tự động thử key tiếp theo.
+
+    :param google_api_keys: Một list chứa các chuỗi API key của Google.
+    :return: Một đối tượng LLM của LangChain, hoặc None nếu có lỗi.
+    """
+    if not google_api_keys or not isinstance(google_api_keys, list):
+        logger.error("❌ Danh sách API key không hợp lệ hoặc bị rỗng.")
+        return None
+
+    logger.info(f"🔸 Đang khởi tạo chuỗi LLM từ {len(google_api_keys)} API key của Google...")
+
+    try:
+        # --- 1. Tạo một danh sách các instance LLM, mỗi cái với một key khác nhau ---
+        llm_instances = [
+            ChatGoogleGenerativeAI(
+                model="gemini-2.5-flash-preview-05-20",
+                google_api_key=key,
+                temperature=0.0, # Điều chỉnh nhiệt độ nếu cần, 0.1-0.3 thường tốt cho RAG
+                safety_settings={},
+            )
+            for key in google_api_keys
+        ]
+
+        # --- 2. Nếu chỉ có một key, không cần fallback ---
+        if len(llm_instances) == 1:
+            logger.info("✅ Chỉ có một API key được cung cấp. Không cấu hình fallback.")
+            return llm_instances[0]
+
+        # --- 3. Dùng LLM đầu tiên làm LLM chính, phần còn lại làm fallback ---
+        primary_llm = llm_instances[0]
+        fallback_llms = llm_instances[1:]
+
+        logger.info(f"▶️  LLM chính sẽ dùng key: '...{google_api_keys[0][-4:]}'")
+        for i, llm in enumerate(fallback_llms):
+            logger.info(f"↪️  Fallback {i+1} sẽ dùng key: '...{google_api_keys[i+1][-4:]}'")
+
+        # --- 4. Kết hợp chúng lại ---
+        llm_with_fallbacks = primary_llm.with_fallbacks(
+            fallbacks=fallback_llms,
+            exceptions_to_handle=(ResourceExhausted, PermissionDenied)
+        )
+
+        logger.info("✅ Đã tạo thành công chuỗi LLM với cơ chế fallback giữa các key Google!")
+        return llm_with_fallbacks
+
+    except Exception as e:
+        logger.error(f"❌ Lỗi nghiêm trọng khi tạo chuỗi LLM từ danh sách key: {e}", exc_info=True)
+        return None
+
+
 
 # def create_qa_chain(
 #     llm: Any,

schemas/chat.py

@@ -5,7 +5,7 @@ from datetime import datetime
 class AppState(BaseModel):
     embeddings: Optional[Any] = None
     vectorstore: Optional[Any] = None
-    llm: Optional[Any] = None
+    # llm: Optional[Any] = None
     process_input_llm: Optional[Any] = None
     qa_chain: Optional[Any] = None
     device: str = "cpu"