Update app.py

app.py

@@ -12,9 +12,17 @@ import gradio as gr
 import spaces
 import torch
 from loguru import logger
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer, BitsAndBytesConfig
+from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStreamer
 from peft import PeftModel
 
+# BitsAndBytesConfig는 조건부로 import
+try:
+    from transformers import BitsAndBytesConfig
+    BITSANDBYTES_AVAILABLE = True
+except ImportError:
+    logger.warning("BitsAndBytesConfig를 import할 수 없습니다. 양자화 기능이 비활성화됩니다.")
+    BITSANDBYTES_AVAILABLE = False
+
 # CSV/TXT 분석
 import pandas as pd
 # PDF 텍스트 추출
@@ -56,9 +64,19 @@ def extract_keywords(text: str, top_k: int = 5) -> str:
     2) 공백 기준 토큰 분리
     3) 최대 top_k개만
     """
-    text = re.sub(r"[^a-zA-Z0-9가-힣\s]", "", text)
+    # 특수문자 제거하되 기본적인 문장 부호는 유지
+    text = re.sub(r"[^a-zA-Z0-9가-힣\s\.\,\?\!]", "", text)
     tokens = text.split()
-    key_tokens = tokens[:top_k]
+    
+    # 중복 제거하면서 순서 유지
+    seen = set()
+    unique_tokens = []
+    for token in tokens:
+        if token not in seen and len(token) > 1:  # 1글자 단어 제외
+            seen.add(token)
+            unique_tokens.append(token)
+    
+    key_tokens = unique_tokens[:top_k]
     return " ".join(key_tokens)
 
 ##############################################################################
@@ -128,12 +146,15 @@ def do_web_search(query: str) -> str:
             )
         
         instructions = """
-# 웹 검색 결과
+# 웹 검색 결과 / Web Search Results
+
 아래는 검색 결과입니다. 질문에 답변할 때 이 정보를 활용하세요:
-1. 각 결과의 제목, 내용, 출처 링크를 참고하세요
-2. 답변에 관련 정보의 출처를 명시적으로 인용하세요 (예: "X 출처에 따르면...")
-3. 응답에 실제 출처 링크를 포함하세요
-4. 여러 출처의 정보를 종합하여 답변하세요
+Below are the search results. Use this information when answering the question:
+
+1. 각 결과의 제목, 내용, 출처 링크를 참고하세요 / Reference the title, content, and source links
+2. 답변에 관련 정보의 출처를 명시적으로 인용하세요 / Explicitly cite relevant sources
+3. 응답에 실제 출처 링크를 포함하세요 / Include actual source links in response
+4. 여러 출처의 정보를 종합하여 답변하세요 / Synthesize information from multiple sources
 """
         
         search_results = instructions + "\n".join(summary_lines)
@@ -158,24 +179,52 @@ def load_model(model_name="VIDraft/Gemma-3-R1984-1B", adapter_name="openfree/Gem
     device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
     logger.info(f"Using device: {device}")
 
-    bnb_config = BitsAndBytesConfig(
-        load_in_4bit=True,
-        bnb_4bit_use_double_quant=True,
-        bnb_4bit_quant_type="nf4",
-        bnb_4bit_compute_dtype=torch.bfloat16,
-    )
-
-    # 베이스 모델 로드
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name,
-        quantization_config=bnb_config,
-        device_map="auto",
-        trust_remote_code=False,
-    )
+    # 양자화 설정을 시도하되, 실패하면 일반 로드
+    if BITSANDBYTES_AVAILABLE:
+        try:
+            # bitsandbytes가 설치되어 있는지 추가 확인
+            import bitsandbytes
+            bnb_config = BitsAndBytesConfig(
+                load_in_4bit=True,
+                bnb_4bit_use_double_quant=True,
+                bnb_4bit_quant_type="nf4",
+                bnb_4bit_compute_dtype=torch.bfloat16,
+            )
+            
+            # 베이스 모델 로드 (양자화 적용)
+            model = AutoModelForCausalLM.from_pretrained(
+                model_name,
+                quantization_config=bnb_config,
+                device_map="auto",
+                trust_remote_code=False,
+            )
+            logger.info("4-bit 양자화로 모델 로드 완료")
+            
+        except ImportError:
+            logger.warning("bitsandbytes가 설치되지 않았습니다. 양자화 없이 모델을 로드합니다.")
+            # 베이스 모델 로드 (양자화 없이)
+            model = AutoModelForCausalLM.from_pretrained(
+                model_name,
+                torch_dtype=torch.float16,  # GPU 메모리 절약을 위해 float16 사용
+                device_map="auto",
+                trust_remote_code=False,
+            )
+    else:
+        logger.info("BitsAndBytesConfig를 사용할 수 없습니다. 일반 모드로 모델을 로드합니다.")
+        # 베이스 모델 로드 (양자화 없이)
+        model = AutoModelForCausalLM.from_pretrained(
+            model_name,
+            torch_dtype=torch.float16,  # GPU 메모리 절약을 위해 float16 사용
+            device_map="auto",
+            trust_remote_code=False,
+        )
 
     # 토크나이저 로드 (베이스 모델과 동일한 토크��이저 사용)
     tokenizer = AutoTokenizer.from_pretrained(model_name)
     tokenizer.pad_token = tokenizer.eos_token
+    
+    # 한글 처리를 위한 추가 설정
+    tokenizer.model_max_length = MAX_INPUT_LENGTH
 
     # PEFT 어댑터 로드 및 베이스 모델에 병합
     try:
@@ -186,6 +235,10 @@ def load_model(model_name="VIDraft/Gemma-3-R1984-1B", adapter_name="openfree/Gem
         logger.warning("어댑터 로딩에 실패했습니다. 베이스 모델로 진행합니다.")
 
     model.eval() # 추론 모드로 설정
+    
+    # 모델 설정 로깅
+    logger.info(f"모델 설정 - device: {device}, dtype: {model.dtype}")
+    logger.info(f"토크나이저 설정 - vocab_size: {tokenizer.vocab_size}, max_length: {tokenizer.model_max_length}")
 
     logger.info("모델 및 토크나이저 로딩 완료")
     return model, tokenizer
@@ -351,7 +404,12 @@ def run(
                 logger.info(f"[Auto WebSearch Keyword] {ws_query!r}")
                 ws_result = do_web_search(ws_query)
                 full_prompt += f"[Web Search Results]\n{ws_result}\n\n"
-                full_prompt += "[중요: 위 검색결과의 출처를 인용하여 답변해 주세요.]\n\n"
+                
+                # 언어에 따른 지시사항
+                if any(ord('가') <= ord(char) <= ord('힣') for char in user_text):
+                    full_prompt += "[중요: 위 검색결과의 출처를 한글로 인용하여 답변해 주세요.]\n\n"
+                else:
+                    full_prompt += "[Important: Please cite the sources from the search results above.]\n\n"
         
         # 대화 히스토리
         if history:
@@ -360,7 +418,20 @@ def run(
         
         # 현재 사용자 메시지
         user_content = process_new_user_message(message)
-        full_prompt += f"\nUser: {user_content}\nAssistant:"
+        
+        # 언어 감지 및 추가 지시사항
+        has_korean = any(ord('가') <= ord(char) <= ord('힣') for char in user_content)
+        if has_korean:
+            lang_instruction = "\n[중요: 반드시 한글로 답변하세요. 영어로 답변하지 마세요.]\n"
+            logger.info("한글 질문 감지 - 한글 답변 모드")
+        else:
+            lang_instruction = ""
+            logger.info("영어 질문 감지 - 영어 답변 모드")
+        
+        full_prompt += f"\nUser: {user_content}{lang_instruction}\nAssistant:"
+        
+        # 프롬프트 길이 로깅
+        logger.info(f"프롬프트 길이: {len(full_prompt)} 문자")
         
         # 토큰화
         inputs = tokenizer(
@@ -382,8 +453,10 @@ def run(
             inputs,
             streamer=streamer,
             max_new_tokens=max_new_tokens,
-            temperature=0.7,
-            top_p=0.9,
+            temperature=0.8,  # 0.7에서 0.8로 증가
+            top_p=0.95,      # 0.9에서 0.95로 증가
+            top_k=50,        # top_k 추가
+            repetition_penalty=1.1,  # 반복 방지 추가
             do_sample=True,
         )
         
@@ -393,8 +466,15 @@ def run(
         
         # 스트리밍 출력
         output = ""
+        chunk_count = 0
         for new_text in streamer:
             output += new_text
+            chunk_count += 1
+            
+            # 주기적으로 메모리 정리
+            if chunk_count % 100 == 0:
+                gc.collect()
+            
             yield output
             
     except Exception as e:
@@ -415,17 +495,17 @@ def run(
 examples = [
     [
         {
-            "text": "Compare the contents of the two PDF files.",
-            "files": [
-                "assets/additional-examples/before.pdf",
-                "assets/additional-examples/after.pdf",
-            ],
+            "text": "이 CSV 파일의 데이터를 분석하고 주요 인사이트를 한글로 설명해주세요.",
+            "files": ["assets/additional-examples/sample-csv.csv"],
         }
     ],
     [
         {
-            "text": "Summarize and analyze the contents of the CSV file.",
-            "files": ["assets/additional-examples/sample-csv.csv"],
+            "text": "두 PDF 파일의 내용을 비교 분석해주세요.",
+            "files": [
+                "assets/additional-examples/before.pdf",
+                "assets/additional-examples/after.pdf",
+            ],
         }
     ],
     [
@@ -436,13 +516,13 @@ examples = [
     ],
     [
         {
-            "text": "Analyze the data trends in this CSV file.",
+            "text": "이 데이터의 추세를 분석하고 향후 예측을 제시해주세요.",
             "files": ["assets/additional-examples/data.csv"],
         }
     ],
     [
         {
-            "text": "Summarize the main points from this text document.",
+            "text": "텍스트 문서의 핵심 내용을 요약하고 중요한 포인트를 정리해주세요.",
             "files": ["assets/additional-examples/document.txt"],
         }
     ],
@@ -486,37 +566,44 @@ button:hover, .btn:hover {
 """
 
 title_html = """
-<h1 align="center" style="margin-bottom: 0.2em; font-size: 1.6em;"> 🤗 Gemma3-R1984-1B (Text Only) </h1>
+<h1 align="center" style="margin-bottom: 0.2em; font-size: 1.6em;"> 🤗 Gemma3-R1984-1B (텍스트 전용) </h1>
 <p align="center" style="font-size:1.1em; color:#555;">
-    ✅Agentic AI Platform ✅Reasoning ✅Text Analysis ✅Deep-Research & RAG <br>
-    ✅Document Processing (PDF, CSV, TXT) ✅Web Search Integration<br>
-    Operates on an ✅'NVIDIA L40s / A100(ZeroGPU) GPU' as an independent local server<br>
-    @Model Repository: VIDraft/Gemma-3-R1984-1B, @Based by 'Google Gemma-3-1b'
+    ✅에이전틱 AI 플랫폼 ✅추론 및 분석 ✅텍스트 분석 ✅심층 연구 & RAG <br>
+    ✅문서 처리 (PDF, CSV, TXT) ✅웹 검색 통합 ✅한글/영어 지원<br>
+    ✅'NVIDIA L40s / A100(ZeroGPU) GPU'에서 독립 로컬 서버로 작동<br>
+    @모델 저장소: VIDraft/Gemma-3-R1984-1B, @기반: 'Google Gemma-3-1b'
 </p>
 """
 
 with gr.Blocks(css=css, title="Gemma3-R1984-1B") as demo:
     gr.Markdown(title_html)
 
-    web_search_checkbox = gr.Checkbox(
-        label="Deep Research",
-        value=False
-    )
-
-    system_prompt_box = gr.Textbox(
-        lines=3,
-        value="You are a deep thinking AI that may use extremely long chains of thought to thoroughly analyze the problem and deliberate using systematic reasoning processes to arrive at a correct solution before answering.",
-        visible=False
-    )
-    
-    max_tokens_slider = gr.Slider(
-        label="Max New Tokens",
-        minimum=100,
-        maximum=8000,
-        step=50,
-        value=1000,
-        visible=False
-    )
+    with gr.Accordion("고급 설정", open=False):
+        web_search_checkbox = gr.Checkbox(
+            label="Deep Research (웹 검색 활성화)",
+            value=False
+        )
+        
+        max_tokens_slider = gr.Slider(
+            label="최대 토큰 수 (답변 길이)",
+            minimum=100,
+            maximum=8000,
+            step=50,
+            value=2048,
+            info="더 긴 답변을 원하시면 이 값을 늘려주세요"
+        )
+        
+        system_prompt_box = gr.Textbox(
+            lines=5,
+            label="시스템 프롬프트",
+            value="""당신은 심층적인 사고를 하는 AI 어시스턴트입니다. 다음 지침을 따라주세요:
+
+1. **언어**: 사용자가 한글로 질문하면 반드시 한글로 답변하세요. 영어로 질문하면 영어로 답변하세요.
+2. **답변 길이**: 충분히 상세하고 풍부한 답변을 제공하세요. 최소 3-5개 문단으로 구성된 답변을 작성하세요.
+3. **분석 방식**: 문제를 철저히 분석하고, 체계적인 추론 과정을 거쳐 정확한 해답을 제시하세요.
+4. **구조**: 답변을 명확한 구조로 구성하고, 필요시 번호나 불릿 포인트를 사용하세요.
+5. **예시와 설명**: 가능한 한 구체적인 예시와 상세한 설명을 포함하세요."""
+        )
     
     web_search_text = gr.Textbox(
         lines=1,
@@ -552,7 +639,7 @@ with gr.Blocks(css=css, title="Gemma3-R1984-1B") as demo:
 
     with gr.Row(elem_id="examples_row"):
         with gr.Column(scale=12, elem_id="examples_container"):
-            gr.Markdown("### Example Inputs (click to load)")
+            gr.Markdown("### 예시 입력 (클릭하여 로드)")
 
 if __name__ == "__main__":
     demo.launch()