change gen model

app.py

@@ -2,66 +2,48 @@
 import gradio as gr
 import time
 
-# Đảm bảo import đúng các hàm cần thiết từ rag_pipeline
 from rag_pipeline import initialize_components, generate_response
 
-# --- KHỞI TẠO CÁC THÀNH PHẦN (CHỈ CHẠY 1 LẦN KHI ỨNG DỤNG START) ---
+# --- KHỞI TẠO CÁC THÀNH PHẦN (CHỈ CHẠY 1 LẦN) ---
 start_time = time.time()
 print("Bắt đầu khởi tạo ứng dụng Chatbot Luật Giao thông...")
-# Đường dẫn đến file dữ liệu của bạn
-DATA_PATH = "data/luat_chi_tiet_output_openai_sdk_final_cleaned.json" 
-# Hàm này sẽ tải models, dữ liệu, và tạo index.
+DATA_PATH = "data/luat_chi_tiet_output_openai_sdk_final_cleaned.json"
 COMPONENTS = initialize_components(DATA_PATH)
 end_time = time.time()
 print(f"✅ Ứng dụng đã sẵn sàng! Thời gian khởi tạo: {end_time - start_time:.2f} giây.")
 # ----------------------------------------------------
 
 
+def chat_interface(query, history):
+    """
+    Hàm xử lý logic cho giao diện chat của Gradio.
+    """
+    print(f"Nhận được câu hỏi từ người dùng: '{query}'")
+    # Gọi hàm generate_response với query và các thành phần đã được khởi tạo
+    response = generate_response(query, COMPONENTS)
+    return response
+
 # --- GIAO DIỆN GRADIO ---
 with gr.Blocks(theme=gr.themes.Soft(), title="Chatbot Luật Giao thông Việt Nam") as demo:
     gr.Markdown(
         """
-        # ⚖️ Chatbot Luật Giao thông Việt Nam (Multi-turn)
-        Hỏi đáp về các quy định, mức phạt trong luật giao thông đường bộ. Chatbot có thể hiểu các câu hỏi nối tiếp.
+        # ⚖️ Chatbot Luật Giao thông Việt Nam
+        Hỏi đáp về các quy định, mức phạt trong luật giao thông đường bộ dựa trên cơ sở dữ liệu được cung cấp.
         *Lưu ý: Đây là một sản phẩm demo. Thông tin chỉ mang tính chất tham khảo.*
         """
     )
     
-    # Sử dụng gr.Chatbot để quản lý và hiển thị lịch sử trò chuyện
-    chatbot = gr.Chatbot(label="Cuộc trò chuyện", height=500)
-    # Textbox để người dùng nhập câu hỏi
+    chatbot = gr.Chatbot(label="Chatbot", height=500)
     msg = gr.Textbox(label="Nhập câu hỏi của bạn", placeholder="Ví dụ: Vượt đèn đỏ bị phạt bao nhiêu tiền?")
-    # Nút để xóa cuộc trò chuyện
     clear = gr.ClearButton([msg, chatbot])
 
     def respond(message, chat_history):
-        """
-        Hàm xử lý logic cho mỗi lượt chat.
-        'message' là tin nhắn mới nhất của người dùng.
-        'chat_history' là danh sách các cặp [tin nhắn cũ, trả lời cũ] do Gradio quản lý.
-        """
-        print(f"Nhận được câu hỏi: '{message}'")
-        print(f"Lịch sử trò chuyện hiện tại: {chat_history}")
-        
-        # Gọi thẳng hàm generate_response với các tham số cần thiết:
-        # 1. message: câu hỏi mới
-        # 2. chat_history: lịch sử trò chuyện
-        # 3. COMPONENTS: dictionary chứa các model và dữ liệu đã được khởi tạo
-        bot_message = generate_response(message, chat_history, COMPONENTS)
-        
-        # Cập nhật lịch sử để hiển thị trên giao diện
+        bot_message = chat_interface(message, chat_history)
         chat_history.append((message, bot_message))
-        
-        # Trả về chuỗi rỗng để xóa nội dung trong textbox và lịch sử đã được cập nhật
         return "", chat_history
 
-    # Thiết lập sự kiện: khi người dùng 'submit' (nhấn Enter) trong textbox 'msg',
-    # hàm 'respond' sẽ được gọi.
-    # - Inputs: nội dung từ 'msg' và 'chatbot' (lịch sử).
-    # - Outputs: cập nhật lại nội dung cho 'msg' (thành rỗng) và 'chatbot' (lịch sử mới).
     msg.submit(respond, [msg, chatbot], [msg, chatbot])
 
-    # Thêm một vài ví dụ để người dùng dễ bắt đầu
     gr.Examples(
         examples=[
             "Phương tiện giao thông đường bộ gồm những loại nào?",
@@ -72,6 +54,5 @@ with gr.Blocks(theme=gr.themes.Soft(), title="Chatbot Luật Giao thông Việt
         inputs=msg
     )
 
-# Chạy ứng dụng
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch()

rag_pipeline.py

@@ -79,89 +79,28 @@ def initialize_components(data_path):
         "bm25_model": bm25_model
     }
 
-def format_history(chat_history):
-    """Định dạng lịch sử trò chuyện thành một chuỗi dễ đọc cho LLM."""
-    if not chat_history:
-        return ""
-    formatted = []
-    for user_turn, bot_turn in chat_history:
-        formatted.append(f"Người dùng: {user_turn}")
-        formatted.append(f"Bot: {bot_turn}")
-    return "\n".join(formatted)
-
-def create_standalone_question(question, chat_history, components):
+def generate_response(query, components):
     """
-    Sử dụng LLM để tạo một câu hỏi độc lập dựa trên câu hỏi mới và lịch sử trò chuyện.
+    Tạo câu trả lời cho một query bằng cách sử dụng các thành phần đã được khởi tạo.
     """
-    llm_model = components["llm_model"]
-    tokenizer = components["tokenizer"]
-    
-    # Định dạng lịch sử trò chuyện
-    history_str = format_history(chat_history)
-    
-    # Nếu không có lịch sử, câu hỏi đã là độc lập
-    if not history_str:
-        return question
-
-    prompt = f"""Dựa vào lịch sử trò chuyện dưới đây và câu hỏi theo sau, hãy tạo ra một câu hỏi độc lập, đầy đủ ngữ nghĩa.
-Câu hỏi mới này phải có thể hiểu được mà không cần đọc lại lịch sử.
-Chỉ trả về câu hỏi đã được viết lại, không thêm bất kỳ lời giải thích nào.
-
-### Lịch sử trò chuyện:
-{history_str}
-
-### Câu hỏi theo sau:
-{question}
-
-### Câu hỏi độc lập:
-"""
-
-    inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
-    
-    # Generate với max_new_tokens nhỏ vì chỉ cần tạo lại câu hỏi
-    output_ids = llm_model.generate(
-        **inputs, 
-        max_new_tokens=100, 
-        temperature=0.1,
-        do_sample=True,
-        pad_token_id=tokenizer.eos_token_id
-    )
-    
-    input_length = inputs.input_ids.shape[1]
-    generated_ids = output_ids[0][input_length:]
-    standalone_question = tokenizer.decode(generated_ids, skip_special_tokens=True).strip()
-    
-    print(f"--- Câu hỏi gốc: '{question}'")
-    print(f"--- Câu hỏi độc lập được tạo: '{standalone_question}'")
-    
-    return standalone_question
-
-
-def generate_response(query, chat_history, components): # Thêm chat_history
-    """
-    Tạo câu trả lời cho một query, có xem xét đến lịch sử trò chuyện.
-    """
-    print("--- Bắt đầu quy trình RAG (Multi-turn) cho query mới ---")
+    print("--- Bắt đầu quy trình RAG cho query mới ---")
     
     # Unpack các thành phần
     llm_model = components["llm_model"]
     tokenizer = components["tokenizer"]
-
-    # 1. [MỚI] Tạo câu hỏi độc lập từ lịch sử
-    standalone_query = create_standalone_question(query, chat_history, components)
     
-    # 2. Truy xuất ngữ cảnh bằng câu hỏi độc lập
+    # 1. Truy xuất ngữ cảnh
     retrieved_results = search_relevant_laws(
-        query_text=standalone_query,  # Sử dụng câu hỏi đã được cô đọng
+        query_text=query,
         embedding_model=components["embedding_model"],
         faiss_index=components["faiss_index"],
         chunks_data=components["chunks_data"],
         bm25_model=components["bm25_model"],
-        k=3,
+        k=5,
         initial_k_multiplier=18
     )
 
-    # 3. Định dạng Context (giữ nguyên)
+    # 2. Định dạng Context
     if not retrieved_results:
         context = "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
     else:
@@ -173,23 +112,20 @@ def generate_response(query, chat_history, components): # Thêm chat_history
             context_parts.append(f"{header}\n{text}")
         context = "\n\n---\n\n".join(context_parts)
 
-    # 4. Xây dựng Prompt cuối cùng (có thêm lịch sử)
-    history_str = format_history(chat_history)
-    prompt = f"""Bạn là một trợ lý am hiểu luật giao thông Việt Nam. Dựa vào lịch sử trò chuyện và các thông tin luật được cung cấp dưới đây, hãy trả lời câu hỏi của người dùng một cách tự nhiên và chính xác.
-
-### Lịch sử trò chuyện:
-{history_str}
+    # 3. Xây dựng Prompt và tạo câu trả lời
+    prompt = f"""Dưới đây là một số thông tin trích dẫn từ văn bản luật giao thông đường bộ Việt Nam.
+Hãy SỬ DỤNG CÁC THÔNG TIN NÀY để trả lời câu hỏi một cách chính xác và đầy đủ.
+Nếu câu hỏi đưa ra nhiều đáp án thì chọn 1 đáp án đúng nhất.
 
-### Thông tin luật liên quan (dùng để trả lời câu hỏi mới nhất):
+### Thông tin luật:
 {context}
 
-### Câu hỏi mới nhất của người dùng:
+### Câu hỏi:
 {query}
 
-### Trả lời của bạn:
-"""
+### Trả lời:"""
 
-    print("--- Bắt đầu tạo câu trả lời cuối cùng từ LLM ---")
+    print("--- Bắt đầu tạo câu trả lời từ LLM ---")
     inputs = tokenizer(prompt, return_tensors="pt").to("cuda" if torch.cuda.is_available() else "cpu")
 
     generation_config = dict(