import streamlit as st import os from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline from langchain_community.document_loaders import PyPDFLoader from langchain_experimental.text_splitter import SemanticChunker from langchain_huggingface import HuggingFaceEmbeddings from langchain_community.vectorstores import FAISS from langchain.memory import ConversationBufferMemory # --- 1) إعداد الصفحة --- st.title("💬 المحادثة التفاعلية - إدارة البيانات وحماية البيانات الشخصية") local_file = "Policies001.pdf" index_folder = "faiss_index" # إضافة CSS مخصص لدعم النصوص من اليمين لليسار st.markdown( """ """, unsafe_allow_html=True ) # --- 2) تحميل أو بناء قاعدة بيانات FAISS --- embeddings = HuggingFaceEmbeddings( model_name="CAMeL-Lab/bert-base-arabic-camelbert-mix", model_kwargs={"trust_remote_code": True} ) if os.path.exists(index_folder): # تحميل قاعدة البيانات إذا كانت موجودة vectorstore = FAISS.load_local(index_folder, embeddings, allow_dangerous_deserialization=True) else: # تحميل PDF وتقسيم النصوص loader = PyPDFLoader(local_file) documents = loader.load() text_splitter = SemanticChunker( embeddings=embeddings, breakpoint_threshold_type='percentile', breakpoint_threshold_amount=90 ) chunked_docs = text_splitter.split_documents(documents) # إنشاء قاعدة بيانات FAISS vectorstore = FAISS.from_documents(chunked_docs, embeddings) vectorstore.save_local(index_folder) # --- 3) إعداد المسترجع --- retriever = vectorstore.as_retriever(search_type="similarity", search_kwargs={"k": 5}) # --- 4) إعداد نموذج النص --- model_name = "CohereForAI/c4ai-command-r7b-arabic-02-2025" # اسم النموذج # التأكد من وجود توكن Hugging Face hf_token = os.getenv("HF_TOKEN") if hf_token is None: st.error("Hugging Face token not found. Please set the 'HF_TOKEN' environment variable.") st.stop() # تحميل النموذج والمحول tokenizer = AutoTokenizer.from_pretrained(model_name, use_auth_token=hf_token) model = AutoModelForCausalLM.from_pretrained(model_name, use_auth_token=hf_token) # إعداد pipeline لتوليد النصوص qa_pipeline = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0) # --- 5) إعداد الذاكرة --- memory = ConversationBufferMemory( memory_key="chat_history", return_messages=True ) # --- 6) إدارة رسائل المستخدم --- if "messages" not in st.session_state: st.session_state["messages"] = [ {"role": "assistant", "content": "👋 مرحبًا! اسألني أي شيء عن إدارة البيانات وحماية البيانات الشخصية!"} ] # عرض الرسائل الحالية for msg in st.session_state["messages"]: with st.chat_message(msg["role"]): st.markdown(f'
{msg["content"]}
', unsafe_allow_html=True) # --- 7) إدخال المستخدم --- user_input = st.chat_input("اكتب سؤالك هنا") # --- 8) معالجة رسالة المستخدم --- if user_input: # عرض رسالة المستخدم st.session_state["messages"].append({"role": "user", "content": user_input}) with st.chat_message("user"): st.markdown(f'
{user_input}
', unsafe_allow_html=True) # استرجاع المستندات ذات الصلة retrieved_docs = retriever.get_relevant_documents(user_input) context = "\n".join([doc.page_content for doc in retrieved_docs]) full_input = f"السياق:\n{context}\n\nالسؤال:\n{user_input}" # توليد الإجابة باستخدام النموذج response = qa_pipeline(full_input, max_length=500, num_return_sequences=1)[0]["generated_text"] # عرض الإجابة st.session_state["messages"].append({"role": "assistant", "content": response}) with st.chat_message("assistant"): st.markdown(f'
{response}
', unsafe_allow_html=True)