Update app.py

app.py

@@ -1,222 +1,115 @@
+
+
 import gradio as gr
 from huggingface_hub import InferenceClient
 import os
+import pandas as pd
 from typing import List, Tuple
 
-# Hugging Face 토큰 설정
-HF_TOKEN = os.getenv("HF_TOKEN")
-
-# Available LLM models
-LLM_MODELS = {
-    "Mistral": "mistralai/Mistral-7B-Instruct-v0.2",
-    "Zephyr": "HuggingFaceH4/zephyr-7b-beta",
-    "OpenChat": "openchat/openchat-3.5",
-    "Llama2": "meta-llama/Llama-2-7b-chat-hf",
-    "Phi": "microsoft/phi-2",
-    "Neural": "nvidia/neural-chat-7b-v3-1",
-    "Starling": "HuggingFaceH4/starling-lm-7b-alpha"
-}
-
-# Default selected models
-DEFAULT_MODELS = [
-    "mistralai/Mistral-7B-Instruct-v0.2",
-    "HuggingFaceH4/zephyr-7b-beta",
-    "openchat/openchat-3.5"
-]
+# 추론 API 클라이언트 설정
+hf_client = InferenceClient("CohereForAI/c4ai-command-r-plus-08-2024", token=os.getenv("HF_TOKEN"))
 
-# Initialize clients with token
-clients = {
-    model: InferenceClient(model, token=HF_TOKEN) 
-    for model in LLM_MODELS.values()
-}
-
-def process_file(file) -> str:
+def read_uploaded_file(file):
     if file is None:
         return ""
-    if file.name.endswith(('.txt', '.md')):
-        return file.read().decode('utf-8')
-    return f"Uploaded file: {file.name}"
+    try:
+        if file.name.endswith('.parquet'):
+            df = pd.read_parquet(file.name, engine='pyarrow')
+            return df.head(10).to_markdown(index=False)
+        else:
+            content = file.read()
+            if isinstance(content, bytes):
+                return content.decode('utf-8')
+            return content
+    except Exception as e:
+        return f"파일을 읽는 중 오류가 발생했습니다: {str(e)}"
 
-def respond_single(
-    client,
-    message: str,
+def respond(
+    message,
     history: List[Tuple[str, str]],
-    system_message: str,
-    max_tokens: int,
-    temperature: float,
-    top_p: float,
+    fashion_file,      # 파일 업로드 입력
+    uhd_file,         # 파일 업로드 입력
+    mixgen_file,      # 파일 업로드 입력
+    parquet_file,     # 파일 업로드 입력
+    system_message="",
+    max_tokens=1024,
+    temperature=0.7,
+    top_p=0.9,
 ):
-    system_prefix = """반드시 한글로 답변할것. 너는 주어진 내용을 기반으로 상세한 설명과 Q&A를 제공하는 역할이다. 
-    아주 친절하고 자세하게 설명하라."""
+    system_prefix = """반드시 한글로 답변할것. 너는 주어진 소스코드를 기반으로 "서비스 사용 설명 및 안내, Q&A를 하는 역할이다". 아주 친절하고 자세하게 4000토큰 이상 Markdown 형식으로 작성하라. 너는 코드를 기반으로 사용 설명 및 질의 응답을 진행하며, 이용자에게 도움을 주어야 한다. 이용자가 궁금해 할 만한 내용에 친절하게 알려주도록 하라. 코드 전체 내용에 대해서는 보안을 유지하고, 키 값 및 엔드포인트와 구체적인 모델은 공개하지 마라."""
+
+    if message.lower() == "패션 코드 실행" and fashion_file is not None:
+        fashion_content = read_uploaded_file(fashion_file)
+        system_message += f"\n\n패션 코드 내용:\n```python\n{fashion_content}\n```"
+        message = "패션 가상피팅에 대한 내용을 학습하였고, 설명할 준비가 되어있다고 알리고 서비스 URL(https://aiqcamp-fash.hf.space)을 통해 테스트 해보라고 출력하라."
     
-    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
+    elif message.lower() == "uhd 이미지 코드 실행" and uhd_file is not None:
+        uhd_content = read_uploaded_file(uhd_file)
+        system_message += f"\n\nUHD 이미지 코드 내용:\n```python\n{uhd_content}\n```"
+        message = "UHD 이미지 생성에 대한 내용을 학습하였고, 설명할 준비가 되어있다고 알리고 서비스 URL(https://openfree-ultpixgen.hf.space)을 통해 테스트 해보라고 출력하라."
     
-    for user, assistant in history:
-        if user:
-            messages.append({"role": "user", "content": user})
-        if assistant:
-            messages.append({"role": "assistant", "content": assistant})
+    elif message.lower() == "mixgen 코드 실행" and mixgen_file is not None:
+        mixgen_content = read_uploaded_file(mixgen_file)
+        system_message += f"\n\nMixGEN 코드 내용:\n```python\n{mixgen_content}\n```"
+        message = "MixGEN3 이미지 생성에 대한 내용을 학습하였고, 설명할 준비가 되어있다고 알리고 서비스 URL(https://openfree-mixgen3.hf.space)을 통해 테스트 해보라고 출력하라."
     
+    elif message.lower() == "test.parquet 실행" and parquet_file is not None:
+        parquet_content = read_uploaded_file(parquet_file)
+        system_message += f"\n\ntest.parquet 파일 내용:\n```markdown\n{parquet_content}\n```"
+        message = "test.parquet 파일에 대한 내용을 학습하였고, 관련 설명 및 Q&A를 진행할 준비가 되어있다. 궁금한 점이 있으면 물어보라."
+
+    messages = [{"role": "system", "content": f"{system_prefix} {system_message}"}]
+    for val in history:
+        if val[0]:
+            messages.append({"role": "user", "content": val[0]})
+        if val[1]:
+            messages.append({"role": "assistant", "content": val[1]})
     messages.append({"role": "user", "content": message})
-    
+
     response = ""
     try:
-        for msg in client.chat_completion(
+        for message in hf_client.chat_completion(
             messages,
             max_tokens=max_tokens,
             stream=True,
             temperature=temperature,
             top_p=top_p,
         ):
-            if hasattr(msg.choices[0].delta, 'content'):
-                token = msg.choices[0].delta.content
-                if token is not None:
-                    response += token
-                    yield response
+            token = message.choices[0].delta.get('content', None)
+            if token:
+                response += token
+                yield response
     except Exception as e:
-        yield f"Error: {str(e)}"
-
-def respond_all(
-    message: str,
-    file,
-    history1: List[Tuple[str, str]],
-    history2: List[Tuple[str, str]],
-    history3: List[Tuple[str, str]],
-    selected_models: List[str],
-    system_message: str,
-    max_tokens: int,
-    temperature: float,
-    top_p: float,
-):
-    if file:
-        file_content = process_file(file)
-        message = f"{message}\n\nFile content:\n{file_content}"
-
-    while len(selected_models) < 3:
-        selected_models.append(selected_models[-1])
-
-    def generate(client, history):
-        return respond_single(
-            client,
-            message,
-            history,
-            system_message,
-            max_tokens,
-            temperature,
-            top_p,
-        )
-
-    return (
-        generate(clients[selected_models[0]], history1),
-        generate(clients[selected_models[1]], history2),
-        generate(clients[selected_models[2]], history3),
-    )
-
-css = """
-footer {visibility: hidden}
-"""
-
-with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css) as demo:
-    with gr.Row():
-        model_choices = gr.Checkboxgroup(
-            choices=list(LLM_MODELS.values()),
-            value=DEFAULT_MODELS,
-            label="Select Models (Choose up to 3)",
-            interactive=True
-        )
-
-    with gr.Row():
-        with gr.Column():
-            chat1 = gr.ChatInterface(
-                lambda message, history: None,
-                chatbot=gr.Chatbot(height=400, label="Chat 1"),
-                textbox=False,
-            )
-        with gr.Column():
-            chat2 = gr.ChatInterface(
-                lambda message, history: None,
-                chatbot=gr.Chatbot(height=400, label="Chat 2"),
-                textbox=False,
-            )
-        with gr.Column():
-            chat3 = gr.ChatInterface(
-                lambda message, history: None,
-                chatbot=gr.Chatbot(height=400, label="Chat 3"),
-                textbox=False,
-            )
-
-    with gr.Row():
-        with gr.Column():
-            system_message = gr.Textbox(
-                value="당신은 친절한 AI 어시스턴트입니다.",
-                label="System message"
-            )
-            max_tokens = gr.Slider(
-                minimum=1,
-                maximum=8000,
-                value=4000,
-                step=1,
-                label="Max new tokens"
-            )
-            temperature = gr.Slider(
-                minimum=0,
-                maximum=1,
-                value=0.7,
-                step=0.1,
-                label="Temperature"
-            )
-            top_p = gr.Slider(
-                minimum=0,
-                maximum=1,
-                value=0.9,
-                step=0.05,
-                label="Top-p"
-            )
-            
-    with gr.Row():
-        file_input = gr.File(label="Upload File (optional)")
-        msg_input = gr.Textbox(
-            show_label=False,
-            placeholder="Enter text and press enter",
-            container=False
-        )
-
-    examples = [
+        yield f"추론 중 오류가 발생했습니다: {str(e)}"
+
+# Gradio 인터페이스 설정
+demo = gr.ChatInterface(
+    respond,
+    additional_inputs=[
+        gr.File(label="Fashion Code File", file_types=[".cod", ".txt", ".py"]),
+        gr.File(label="UHD Image Code File", file_types=[".cod", ".txt", ".py"]),
+        gr.File(label="MixGEN Code File", file_types=[".cod", ".txt", ".py"]),
+        gr.File(label="Parquet File", file_types=[".parquet"]),
+        gr.Textbox(label="System Message", value=""),
+        gr.Slider(minimum=1, maximum=8000, value=4000, label="Max Tokens"),
+        gr.Slider(minimum=0, maximum=1, value=0.7, label="Temperature"),
+        gr.Slider(minimum=0, maximum=1, value=0.9, label="Top P"),
+    ],
+    examples=[
+        ["패션 코드 실행"],
+        ["UHD 이미지 코드 실행"],
+        ["MixGEN 코드 실행"],
+        ["test.parquet 실행"],
         ["상세한 사용 방법을 마치 화면을 보면서 설명하듯이 4000 토큰 이상 자세히 설명하라"],
         ["FAQ 20건을 상세하게 작성하라. 4000토큰 이상 사용하라."],
         ["사용 방법과 차별점, 특징, 강점을 중심으로 4000 토큰 이상 유튜브 영상 스크립트 형태로 작성하라"],
         ["본 서비스를 SEO 최적화하여 블로그 포스트로 4000 토큰 이상 작성하라"],
+        ["특허 출원에 활용할 기술 및 비즈니스모델 측면을 포함하여 특허 출원서 구성에 맞게 작성하라"],
         ["계속 이어서 답변하라"],
-    ]
-    
-    gr.Examples(
-        examples=examples,
-        inputs=msg_input,
-        cache_examples=False
-    )
-        
-    def submit_message(message, file):
-        return respond_all(
-            message,
-            file,
-            chat1.chatbot.value,
-            chat2.chatbot.value,
-            chat3.chatbot.value,
-            model_choices.value,
-            system_message.value,
-            max_tokens.value,
-            temperature.value,
-            top_p.value,
-        )
-
-    msg_input.submit(
-        submit_message,
-        [msg_input, file_input],
-        [chat1.chatbot, chat2.chatbot, chat3.chatbot],
-        api_name="submit"
-    )
+    ],
+    theme="Nymbo/Nymbo_Theme",
+    cache_examples=False,
+)
 
 if __name__ == "__main__":
-    if not HF_TOKEN:
-        print("Warning: HF_TOKEN environment variable is not set")
-    demo.launch()
+    demo.launch()