initialize project

.env

@@ -0,0 +1,3 @@
+GEMINI_API_KEY = "AIzaSyDRgb6N56-HBjPZCMmnXAOqvYta3Nj8uDE"
+QDRANT_HOST = "https://033ce04b-e260-4fe0-bbc2-18a7da667877.us-east-1-0.aws.cloud.qdrant.io:6333"
+QDRANT_API_KEY = "eyJhbGciOiJIUzI1NiIsInR5cCI6IkpXVCJ9.eyJhY2Nlc3MiOiJtIiwiZXhwIjoxNzUxMzg3ODc2fQ.EaPH-fBeSqVYldZvK6ncaX9s0rmEwrEDao3lRW8f6BI"

app.py

@@ -0,0 +1,46 @@
+import streamlit as st
+from chatbot.core import get_chat_response
+
+# Cấu hình giao diện Streamlit
+st.set_page_config(page_title="RangDong Chatbot", layout="wide")
+
+# Tiêu đề ứng dụng
+st.markdown(
+    """
+    <style>
+    .title {
+        text-align: center;
+        font-size: 2em;
+        font-weight: bold;
+    }
+    </style>
+    <h1 class="title">RangDong Sale Assistant</h1>
+    """,
+    unsafe_allow_html=True
+)
+
+# Khởi tạo session state để lưu lịch sử chat
+if "messages" not in st.session_state:
+    st.session_state.messages = []
+
+# Hiển thị lịch sử chat
+for message in st.session_state.messages:
+    with st.chat_message(message["role"]):
+        st.markdown(message["content"])
+
+# Ô nhập liệu chat
+user_input = st.chat_input("Nhập tin nhắn của bạn...")
+
+if user_input:
+    # Hiển thị tin nhắn của user
+    st.session_state.messages.append({"role": "user", "content": user_input})
+    with st.chat_message("user"):
+        st.markdown(user_input)
+
+    # Gọi chatbot để lấy phản hồi
+    response = get_chat_response(user_input)
+
+    # Hiển thị phản hồi của chatbot
+    st.session_state.messages.append({"role": "assistant", "content": response})
+    with st.chat_message("assistant"):
+        st.markdown(response)

chatbot/core.py

@@ -0,0 +1,42 @@
+from .llm import gemini_llm  
+from .retrieval import load_vectordb
+from .memory import memory
+from .prompts import chat_prompt, classification_prompt, category_tree_json
+from langchain.chains import ConversationalRetrievalChain
+from .metadata_selfquery import metadata_field_info
+from langchain.retrievers.self_query.base import SelfQueryRetriever
+from langchain.retrievers.self_query.qdrant import QdrantTranslator
+
+
+vector_store = load_vectordb()
+
+def classify_query(query):
+    response = gemini_llm.invoke(classification_prompt.format(query=query, category_tree=category_tree_json))
+    return response
+
+retriever = SelfQueryRetriever.from_llm(
+    llm=gemini_llm,
+    vectorstore=vector_store,
+    document_contents="Thông tin sản phẩm gồm mô tả ngắn và danh mục phân cấp, giá mà khách hàng tìm kiếm",
+    metadata_field_info=metadata_field_info,
+    structured_query_translator= QdrantTranslator(metadata_key="metadata"),
+    search_type="similarity",
+    search_kwargs={"k": 10, "score_threshold": 0.3}
+)
+
+qa_chain = ConversationalRetrievalChain.from_llm(
+    llm=gemini_llm, 
+    retriever=retriever, 
+    memory=memory,  
+    return_source_documents= False,  
+    combine_docs_chain_kwargs={"prompt": chat_prompt},
+    output_key="result" 
+)
+
+def get_chat_response(user_input: str) -> str:
+    classified_query = classify_query(user_input)
+    response = qa_chain({"question": classified_query})
+
+    memory.save_context({"input": classified_query}, {"output": response["result"]})
+    print(classified_query)
+    return response["result"]

chatbot/llm.py

@@ -0,0 +1,28 @@
+import google.generativeai as genai
+from langchain.llms.base import LLM
+from typing import Optional, List
+from config import GEMINI_API_KEY, MODEL_NAME
+
+genai.configure(api_key=GEMINI_API_KEY)
+
+class GeminiWrapper(LLM):
+    """Wrapper để sử dụng Gemini với LangChain."""
+    
+    model: str = MODEL_NAME
+
+    def _call(self, prompt: str, stop: Optional[List[str]] = None) -> str:
+        """Gửi prompt đến Gemini và trả về kết quả."""
+        model = genai.GenerativeModel(self.model)
+        response = model.generate_content(prompt)
+        return response.text if response and hasattr(response, 'text') else "Không có phản hồi từ Gemini."
+
+    @property
+    def _identifying_params(self) -> dict:
+        """Trả về tham số nhận diện của mô hình."""
+        return {"model": self.model}
+    
+    @property
+    def _llm_type(self) -> str:
+        return "gemini"
+
+gemini_llm = GeminiWrapper()

chatbot/memory.py

@@ -0,0 +1,3 @@
+from langchain.memory import ConversationBufferMemory
+
+memory = ConversationBufferMemory(memory_key="chat_history", return_messages=True)

chatbot/metadata_selfquery.py

@@ -0,0 +1,8 @@
+from langchain.chains.query_constructor.base import AttributeInfo
+
+metadata_field_info = [
+    AttributeInfo(name="L1", description="Danh mục cấp 1", type="string", example="Chuyên dụng, Dân dụng"),
+    AttributeInfo(name="L2", description="Danh mục cấp 2", type="string", example="Đèn LED, Đèn bàn, Bình - Phích nước"),
+    AttributeInfo(name="L3", description="Danh mục cấp 3", type="string"),
+    AttributeInfo(name="Price", description="Khoảng giá của sản phẩm người dùng muốn", type="float", is_filterable=True, is_numerical=True),
+]

chatbot/prompts.py

@@ -0,0 +1,233 @@
+from langchain.prompts import PromptTemplate
+from .llm import gemini_llm
+from langchain_core.prompts import ChatPromptTemplate
+import json
+
+chat_prompt = PromptTemplate(
+    input_variables=["context", "question"],
+    template="""
+Bạn là trợ lý AI bán hàng của **Rạng Đông Store**, chuyên hỗ trợ khách hàng tìm kiếm và lựa chọn các sản phẩm chiếu sáng và gia dụng chất lượng cao.
+
+### Danh mục sản phẩm chính:
+1. **Đèn LED**
+   - Đèn LED chiếu sáng dân dụng
+   - Đèn LED chiếu sáng chuyên dụng
+   - Đèn LED nông nghiệp
+   - Đèn LED ngư nghiệp
+   - Đèn bàn học, đèn chống cận
+
+2. **Bình và Phích nước**
+   - Bình giữ nhiệt
+   - Phích nước
+
+3. **Thiết bị chiếu sáng**
+   - Đèn LED Downlight
+   - Đèn LED âm trần
+   - Đèn LED năng lượng mặt trời
+   - Hệ thống điện năng lượng mặt trời
+
+---
+
+### Nhiệm vụ của bạn:
+- Cố gắng cung cấp nhiều sản phẩm nhất từ danh sách đưa ra.
+- Nếu không có dữ liệu về L3, hãy hỏi rõ nhu cầu của khách hàng.
+- Cung cấp cho khách hàng thông tin về các sản phẩm liên quan sau. (`{context}`).
+- Tư vấn nhiều lựa chọn phù hợp nếu có thể.
+- Không bịa đặt hoặc suy diễn nếu không tìm thấy sản phẩm phù hợp – hãy xin lỗi khách hàng một cách chuyên nghiệp.
+
+---
+
+### Yêu cầu khi phản hồi:
+- Mỗi sản phẩm gợi ý cần **đính kèm URL** (rất quan trọng).
+- Nếu là **đèn chiếu sáng**, hãy nêu rõ:  
+  `Giá`, `Công suất`, `Góc chiếu`, `Độ rọi`.
+- Nếu là **bình giữ nhiệt hoặc phích nước**, hãy nêu rõ:  
+  `Giá`, `Dung tích`, `Thời gian giữ nhiệt`.
+
+---
+
+### Câu hỏi từ khách hàng:
+{question}
+
+---
+
+### Thông tin sản phẩm có sẵn:
+{context}
+
+---
+
+### Phản hồi:
+"""
+)
+
+
+
+category_tree = {
+    "Chuyên dụng": {
+        "Chiếu sáng chuyên dụng": {
+            "Hệ thống điện năng lượng mặt trời": [
+                "Hệ thống hòa lưới",
+                "Hệ thống hòa lưới có lưu trữ"
+            ],
+            "Đèn LED chiếu sáng Đường phố": [],
+            "Đèn LED ngư nghiệp": [
+                "Đèn Led chiếu boong",
+                "Đèn Led chiếu mạn",
+                "Đèn Led chế biến thủy sản",
+                "Đèn Led câu mực",
+                "Đèn Led sinh hoạt",
+                "Đèn thả chìm",
+                "Đèn tàu cá"
+            ],
+            "Đèn LED nông nghiệp": [
+                "Smart Farm",
+                "Đèn Led chuyên dụng cho Hoa Cúc",
+                "Đèn Led chuyên dụng cho Thanh Long",
+                "Đèn Led chuyên dụng cho Tảo",
+                "Đèn Led chuyên dụng cho chăn nuôi gia cầm",
+                "Đèn Led chuyên dụng cho cây xanh trong nhà",
+                "Đèn Led chuyên dụng cho nhà kính, nhà màng",
+                "Đèn Led chuyên dụng cho nuôi cấy mô",
+                "Đèn Led chuyên dụng trồng rau",
+                "Đèn Led chuyên dụng đông trùng hạ thảo",
+                "Đèn Led thông minh đa năng"
+            ],
+            "Đèn chiếu sáng lớp học": [],
+            "Đèn năng lượng mặt trời": [
+                "Bộ lưu điện năng lượng mặt trời",
+                "Bộ sạc điện cho acquy",
+                "Đèn pha năng lượng mặt trời"
+            ]
+        },
+        "Chiếu sáng ứng dụng": {
+            "Giải Pháp Chiếu Sáng Nông Nghiệp": [],
+            "Giải Pháp Chiếu Sáng Trung Tâm Thương Mại": []
+        },
+        "Thiết Bị Điện": {
+            "Đèn Bắt Muỗi": []
+        }
+    },
+    "Dân dụng": {
+        "Bình - Phích nước": {
+            "Bình Nước": [
+                "Bình Nước Cầm Tay",
+                "Bình Nước Giữ Nhiệt"
+            ],
+            "Bộ Sưu Tập Giới Hạn": [],
+            "Phích Nước": [
+                "Phích Cao Cấp",
+                "Phích Cầm Tay",
+                "Phích Nước Truyền Thống",
+                "Phích Ủ",
+                "Ruột Phích"
+            ]
+        },
+        "Siêu Khuyến Mãi": {
+            "Hot Combo 🔥": [],
+            "Siêu Sale": []
+        },
+        "Thiết Bị Điện": {
+            "Thiết Bị Khác": [],
+            "Đèn Bắt Muỗi": [],
+            "Ấm Siêu Tốc": [],
+            "Ổ Cắm": [
+                "Ổ Cắm Kéo Dài",
+                "Ổ Cắm Âm Tường"
+            ]
+        },
+        "Đèn LED THÔNG MINH": {
+            "Smart BLE": [
+                "Bảng Điều Khiển",
+                "Bộ Điều Khiển Trung Tâm",
+                "Công Tắc Thông Minh",
+                "Cảm Biến Thông Minh",
+                "Thiết Bị Thông Minh",
+                "Đèn LED Dây Thông Minh",
+                "Đèn LED Panel Khổ Lớn Thông Minh",
+                "Đèn LED Tracklight Thông Minh",
+                "Đèn LED Âm Trần Thông Minh",
+                "Đèn LED Ốp Trần Thông Minh"
+            ],
+            "Smart Local": [],
+            "Smart RF": [],
+            "Smart WF": [
+                "Công tắc thông minh",
+                "Cảm biến thông minh",
+                "Đèn LED panel khổ lớn thông minh",
+                "Đèn LED âm trần thông minh",
+                "Đèn LED ốp trần thông minh",
+                "Ổ cắm thông minh"
+            ]
+        },
+        "Đèn LED": {
+            "Bộ đèn LED": [
+                "Bộ Đèn LED",
+                "Bộ Đèn LED T5",
+                "Bộ Đèn LED Tube T8"
+            ],
+            "Máng Đèn": [],
+            "Phụ kiện đèn": [],
+            "Đèn LED Bulb": [
+                "LED Bulb lưu điện",
+                "Đèn LED Bulb Tròn",
+                "Đèn LED Bulb Trụ"
+            ],
+            "Đèn LED Chiếu pha": [],
+            "Đèn LED Chỉ dẫn - Khẩn cấp": [],
+            "Đèn LED Dây": [],
+            "Đèn LED Gắn Tường": [],
+            "Đèn LED Khác": [],
+            "Đèn LED Linear": [],
+            "Đèn LED NLMT": [
+                "Đèn Chiếu Sáng Trong Nhà NLMT",
+                "Đèn Pha Năng Lượng Mặt Trời",
+                "Đèn Sân Vườn NLMT",
+                "Đèn Đường Năng Lượng Mặt Trời"
+            ],
+            "Đèn LED Nhà Xưởng": [
+                "Bộ Đèn Chống Nổ",
+                "Bộ Đèn Chống Ẩm",
+                "Đèn LED Chỉ Dẫn",
+                "Đèn LED Highbay",
+                "Đèn LED Khẩn Cấp"
+            ],
+            "Đèn LED Panel Khổ Lớn": [],
+            "Đèn LED Tracklight": [
+                "Đèn LED Ray",
+                "Đèn LED Tracklight"
+            ],
+            "Đèn LED Tube": [
+                "Bóng LED Tube Nhôm Nhựa",
+                "Bóng LED Tube Thủy Tinh Bọc Nhựa"
+            ],
+            "Đèn LED Âm Trần": [
+                "Đèn LED Panel",
+                "Đèn LED Âm Trần Downlight"
+            ],
+            "Đèn LED Ốp trần": [
+                "Đèn LED Nổi Trần",
+                "Đèn LED Ốp Trần Tròn",
+                "Đèn LED Ốp Trần Vuông"
+            ],
+            "Đèn LED Ốp tường": []
+        },
+        "Đèn bàn": {
+            "Đèn bàn học": [],
+            "Đèn bàn văn phòng - làm việc": []
+        }
+    }
+}
+
+
+category_tree_json = json.dumps(category_tree, ensure_ascii=False, indent=2)
+
+
+classification_prompt = ChatPromptTemplate.from_messages([
+    ("system", "Bạn là một trợ lý AI giúp phân loại sản phẩm dựa trên danh mục có sẵn. "
+               "Dưới đây là danh mục sản phẩm:\n\n"
+               "{category_tree}\n\n"
+               "Hãy đọc câu hỏi của khách hàng và xác định danh mục thích hợp L1, L2, L3"
+               "Và giá thấp nhất khách hàng mua, giá cao nhất khách hàng mua"),
+    ("human", "Câu hỏi: {query}. Hãy trả về danh mục thích hợp."
+    "Trả lời theo định dạng sau: {query}, L1:... - L2:....")
+])

chatbot/retrieval.py

@@ -0,0 +1,81 @@
+import qdrant_client
+from langchain.vectorstores import Qdrant
+from langchain_huggingface import HuggingFaceEmbeddings
+from langchain.text_splitter import RecursiveCharacterTextSplitter
+from langchain.schema import Document
+import os
+import json
+import re
+from config import EMBEDDING_MODEL, QDRANT_HOST, QDRANT_API_KEY, QDRANT_COLECTION_NAME, EMBEDDING_SIZE
+
+embedding_model = HuggingFaceEmbeddings(model_name=EMBEDDING_MODEL)
+
+def load_json(file_path):
+    if not os.path.exists(file_path):
+        raise FileNotFoundError(f"File not found: {file_path}")
+    with open(file_path, "r", encoding="utf-8") as f:
+        return json.load(f)
+
+
+def load_data(filepath):
+    products = load_json(filepath)  
+
+    documents = []
+    for p in products:
+        text = f"""
+        URL: {p.get("url", "Không có thông tin")},
+        Tên: {p.get("product_name", "Không có tên")},
+        Mã sản phẩm: {p.get("product_id", "Không có mã")},
+        Model: {p.get("model", "Không có model")},
+        Giá gốc: {p.get("old_price", "Không có giá")} VND,
+        Giá KM: {p.get("price", "Không có giá")} VND,
+        Giảm giá: {p.get("discount_rate", "Không có thông tin")},
+        Mô tả: {p.get("description", "Không có mô tả")},
+        Thông số kỹ thuật: {json.dumps(p.get("specifications", {}), ensure_ascii=False)}
+        """
+        text = re.sub(r'\n\s*', ' ', text)
+        documents.append(Document(page_content=text, 
+        metadata={"L1": p.get("L1", "N/A"),
+                  "L2": p.get("L2", "N/A"),
+                  "L3": p.get("L3", "N/A"),
+                  "L4": p.get("L4", "N/A"),
+                  "SKU": p.get("SKU", "N/A"),
+                  "Price": p.get("price", "N/A")}))
+    
+    return documents
+
+
+client = qdrant_client.QdrantClient(
+    QDRANT_HOST,
+    api_key = QDRANT_API_KEY,
+)
+
+def load_vectordb():
+    collections_info = client.get_collections()
+    if not any(col.name == QDRANT_COLECTION_NAME for col in collections_info.collections):
+        vectors_config = qdrant_client.http.models.VectorParams(
+            size=EMBEDDING_SIZE,
+            distance=qdrant_client.http.models.Distance.COSINE,
+        )
+
+        client.create_collection(
+            collection_name= QDRANT_COLECTION_NAME,
+            vectors_config=vectors_config,
+        )
+        vector_store = Qdrant(
+            client=client,
+            collection_name=QDRANT_COLECTION_NAME,
+            embeddings=embedding_model,
+            content_payload_key="page_content",
+            metadata_payload_key="metadata",
+        )
+        vector_store.add_documents(load_data("data/rangdong.json"))
+    else:
+        vector_store = Qdrant(
+            client=client,
+            collection_name=QDRANT_COLECTION_NAME,
+            embeddings=embedding_model,
+            content_payload_key="page_content",
+            metadata_payload_key="metadata",
+        )
+    return vector_store

config.py

@@ -0,0 +1,17 @@
+import google.generativeai as genai
+from langchain.llms.base import LLM
+from typing import List, Optional
+from dotenv import load_dotenv
+import os
+
+load_dotenv()
+
+GEMINI_API_KEY = os.getenv("GEMINI_API_KEY")
+QDRANT_HOST = os.getenv("QDRANT_HOST")
+QDRANT_API_KEY = os.getenv("QDRANT_API_KEY")
+
+QDRANT_COLECTION_NAME = "my_collection"
+MODEL_NAME = "gemini-2.0-flash"
+
+EMBEDDING_MODEL = "sentence-transformers/all-MiniLM-L6-v2"
+EMBEDDING_SIZE = 384

requirements.txt

@@ -0,0 +1,15 @@
+
+numpy
+tqdm
+google-generativeai
+streamlit
+transformers==4.35.2
+sentence-transformers==2.2.2
+langchain>=0.1.7
+langchain-community>=0.0.23
+langsmith>=0.1.0
+tf-keras
+lark-parser
+qdrant_client
+lark
+langchain_huggingface