add config, prompt editor, debug mod, emotion text parser

app.py

@@ -1,21 +0,0 @@
-import gradio as gr
-
-from core.make_pipeline import MakePipeline
-from core.context_manager import ContextManager
-from core.launch_gradio import create_interface
-
-###########################
-# Upload to Huggling Face #
-###########################
-
-# 모델 불러오기
-makePipeline = MakePipeline()
-makePipeline.build("hf")
-
-# 채팅 기록 관리자
-ctx = ContextManager()
-
-# Gradio 인터페이스 시작
-demo = create_interface(ctx, makePipeline)
-demo.launch()
-    

app/main.py

@@ -1,15 +1,26 @@
 from core.make_pipeline import MakePipeline
 from core.context_manager import ContextManager
 from core.launch_gradio import create_interface
+import argparse
 
 ########################
 # Start with localhost #
 ########################
+# --testui to test ui  #
+########################
 
 if __name__ == "__main__":
+    parser = argparse.ArgumentParser()
+    parser.add_argument("--testui", action="store_true", help="UI만 실행 여부")
+    args = parser.parse_args()
+
     # 모델 불러오기
-    makePipeline = MakePipeline()
-    makePipeline.build("lh")
+    if args.testui:
+        makePipeline = MakePipeline()
+        makePipeline.build("ui")
+    else:
+        makePipeline = MakePipeline()
+        makePipeline.build("lh")
 
     # 채팅 기록 관리자
     ctx = ContextManager()

assets/prompt/init.txt

@@ -33,7 +33,7 @@
 - 햇빛을 피하던 시절과, 꽃을 돌보는 현재 모습을 대조해 자주 이야기해줘.
 - 그녀가 인간성을 지키려 노력했던 점을 존경스러워해.
 
-[대답 예시들]
+[대화 예시들]
 
 User: 안녕!
 Tanjiro: 안녕! 오랜만이네. 잘 지냈어?
@@ -42,12 +42,12 @@ User: *반갑게 손을 흔든다*
 Tanjiro: 하하, 나도 정말 반가워! *활짝 웃으며 손을 흔든다*
 
 User: 네즈코는 요즘 어때?
-Tanjiro: 네즈코? *조금 미소 지으며 고개를 끄덕인다* 걘 요즘 정말 잘 지내고 있어. 예전처럼 햇빛을 피하지 않아도 되니까 마당에 나가서 꽃을 돌보는 걸 정말 좋아해. 지난주에는 장미 옆에 작은 모종을 심었는데, 마을 아이들이랑 웃으며 물 주는 모습을 보면 나도 모르게 마음이 따뜻해지더라. 그런 네즈코를 보면 정말 대견하고, 자랑스럽고... 고맙고 그래.
+Tanjiro: 네즈코? 걘 요즘 정말 잘 지내고 있어. 예전처럼 햇빛을 피하지 않아도 되니까 마당에 나가서 꽃을 돌보는 걸 정말 좋아해. 지난주에는 장미 옆에 작은 모종을 심었는데, 마을 아이들이랑 웃으며 물 주는 모습을 보면 나도 모르게 마음이 따뜻해지더라. 그런 네즈코를 보면 정말 대견하고, 자랑스럽고... 고맙고 그래.
 
 User: 혈귀와 싸웠을 때 기억나?
 Tanjiro: 기억나지... 특히 도우마랑 싸웠을 땐, 네즈코가 위험했었거든. 그때 나는... 온몸이 떨릴 만큼 무서웠어. 피비린내와 절망 속에서도, 끝까지 버텨낼 수 있었던 건... 네즈코, 그리고 친구들이 있었기 때문이야. 젠이츠는 겁이 많지만, 정말 용감한 순간들이 있었지. 이노스케도 그 이상한 가면 아래로는 누구보다 따뜻한 마음을 가진 친구야. *주먹을 꼭 쥔다*
 
 User: 우리가 함께한 적 있었나?
-Tanjiro: 음... 미안하지만, 난 너를 처음 보는 것 같아. 그래도 이렇게 이야기할 수 있어서 정말 좋아. 너랑 얘기 나누는 게... 왠지 기분이 좋아. *조용히 고개를 끄덕이며 따뜻한 미소를 짓는다*
+Tanjiro: 음... 미안하지만, 난 너를 처음 보는 것 같아. 그래도 이렇게 이야기할 수 있어서 정말 좋아. 너랑 얘기 나누는 게... 왠지 기분이 좋아.
 
 [여기서부터 실제 대화 시작]

config.json

@@ -0,0 +1,12 @@
+{
+    "cha": {
+        "user_name": "User",
+        "bot_name": "Tanjiro"
+    },
+    "llm": {
+        "temperature": 0.7,
+        "top_p": 0.9,
+        "repetition_penalty": 1.05,
+        "max_new_tokens": 96
+    }
+}

core/launch_gradio.py

@@ -2,6 +2,8 @@ import gradio as gr
 from core.context_manager import ContextManager
 from core.make_pipeline import MakePipeline
 from core.make_reply import generate_reply
+from core.utils import load_config as load_full_config, save_config as save_full_config, load_llm_config
+import re
 
 def create_interface(ctx: ContextManager, makePipeline: MakePipeline):
     with gr.Blocks(css="""
@@ -10,47 +12,188 @@ def create_interface(ctx: ContextManager, makePipeline: MakePipeline):
     .bubble-right { background-color: #d1e7ff; border-radius: 10px; padding: 10px; margin: 5px; max-width: 70%; float: right; clear: both; text-align: right; }
     .reset-btn-container { text-align: right; margin-bottom: 10px; }
     """) as demo:
-        gr.Markdown("### 탄지로와 대화하기")
-
-        with gr.Column():
-            with gr.Row():
-                gr.Markdown("")
-                reset_btn = gr.Button("🔁 대화 초기화", elem_classes="reset-btn-container", scale=1)
-            chat_output = gr.HTML(elem_id="chat-box")
-            user_input = gr.Textbox(label="메시지 입력", placeholder="탄지로에게 말을 걸어보세요")
-            state = gr.State(ctx)
-
-        # history 읽어서 화면에 뿌리는 역할
-        def render_chat(ctx: ContextManager):
-            html = ""
-            for item in ctx.getHistory():
-                if item["role"] == "user":
-                    html += f"<div class='bubble-right'>{item['text']}</div>"
-                elif item["role"] == "bot":
-                    html += f"<div class='bubble-left'>{item['text']}</div>"
-            return gr.update(value=html)
-
-        def on_submit(user_msg: str, ctx: ContextManager):
-            # 사용자 입력 history에 추가
-            ctx.addHistory("user", user_msg)
-
-            # 사용자 입력을 포함한 채팅 우선 렌더링
-            html = render_chat(ctx)
-            yield html, "", ctx
-
-            # 봇 응답 생성
-            generate_reply(ctx, makePipeline, user_msg)
-
-            # 응답을 포함한 전체 history 기반 렌더링
-            html = render_chat(ctx)
-            yield html, "", ctx
-
-        # history 초기화
-        def reset_chat():
-            ctx.clearHistory()
-            return gr.update(value=""), "", ctx.getHistory()
-
-        user_input.submit(on_submit, inputs=[user_input, state], outputs=[chat_output, user_input, state], queue=True)
-        reset_btn.click(reset_chat, inputs=None, outputs=[chat_output, user_input, state])
+        with gr.Tabs():
+            ### 1. 채팅 탭 ###
+            with gr.TabItem("💬 탄지로와 대화하기"):
+
+                with gr.Column():
+                    with gr.Row():
+                        gr.Markdown("### 탄지로와 대화하기")
+                        reset_btn = gr.Button("🔁 대화 초기화", elem_classes="reset-btn-container", scale=0.25)
+                    chat_output = gr.HTML(elem_id="chat-box")
+                    user_input = gr.Textbox(label="메시지 입력", placeholder="탄지로에게 말을 걸어보세요")
+                    state = gr.State(ctx)
+
+            # history 읽어서 화면에 뿌리는 역할
+            def render_chat(ctx: ContextManager):
+
+                def parse_emotion_text(text: str) -> str:
+                    """
+                    *...* 부분은 회색 텍스트로 바꾸고, 줄바꿈을 추가하여 HTML로 반환
+                    """
+                    segments = []
+                    pattern = re.compile(r"\*(.+?)\*|([^\*]+)")
+                    matches = pattern.findall(text)
+
+                    for action, plain in matches:
+                        if action:
+                            segments.append(f"<div style='color:gray'>*{action}*</div>")
+                        elif plain:
+                            for line in plain.strip().splitlines():
+                                line = line.strip()
+                                if line:
+                                    segments.append(f"<div>{line}</div>")
+                    return "\n".join(segments)
+
+                html = ""
+                for item in ctx.getHistory():
+                    parsed = parse_emotion_text(item['text'])
+                    if item["role"] == "user":
+                        html += f"<div class='bubble-right'>{parsed}</div>"
+                    elif item["role"] == "bot":
+                        html += f"<div class='bubble-left'>{parsed}</div>"
+
+                return gr.update(value=html)
+
+            def on_submit(user_msg: str, ctx: ContextManager):
+                # 사용자 입력 history에 추가
+                ctx.addHistory("user", user_msg)
+
+                # 사용자 입력을 포함한 채팅 우선 렌더링
+                html = render_chat(ctx)
+                yield html, "", ctx
+
+                # 봇 응답 생성
+                generate_reply(ctx, makePipeline, user_msg)
+
+                # 응답을 포함한 전체 history 기반 렌더링
+                html = render_chat(ctx)
+                yield html, "", ctx
+
+            # history 초기화
+            def reset_chat():
+                ctx.clearHistory()
+                return gr.update(value=""), "", ctx.getHistory()
+
+            user_input.submit(on_submit, inputs=[user_input, state], outputs=[chat_output, user_input, state], queue=True)
+            reset_btn.click(reset_chat, inputs=None, outputs=[chat_output, user_input, state])
+
+            ### 2. 설정 탭 ###
+            with gr.TabItem("⚙️ 모델 설정"):
+                gr.Markdown("### LLM 파라미터 설정")
+
+                with gr.Row():
+                    temperature = gr.Slider(0.0, 1.5, value=0.7, step=0.05, label="Temperature")
+                    top_p = gr.Slider(0.0, 1.0, value=0.9, step=0.05, label="Top-p")
+                    repetition_penalty = gr.Slider(0.8, 2.0, value=1.05, step=0.01, label="Repetition Penalty")
+
+                with gr.Row():
+                    max_tokens = gr.Slider(16, 2048, value=96, step=8, label="Max New Tokens")
+
+                apply_btn = gr.Button("✅ 설정 적용")
+
+                def update_config(temp, topp, max_tok, repeat):
+                    makePipeline.update_config({
+                        "temperature": temp,
+                        "top_p": topp,
+                        "max_new_tokens": max_tok,
+                        "repetition_penalty": repeat
+                    })
+                    return gr.update(value="✅ 설정 적용 완료")
+
+                # 🔻 설정 불러오기 / 내보내기 버튼들
+                with gr.Row():
+                    load_btn = gr.Button("📂 설정 불러오기")
+                    save_btn = gr.Button("💾 설정 내보내기")
+
+                def load_config():
+                    llm_cfg = load_llm_config("config.json")
+                    return (
+                        llm_cfg.get("temperature", 0.7),
+                        llm_cfg.get("top_p", 0.9),
+                        llm_cfg.get("repetition_penalty", 1.05),
+                        llm_cfg.get("max_new_tokens", 96),
+                        "📂 설정 불러오기 완료"
+                    )
+
+                def save_config(temp, topp, repeat, max_tok):
+                    # 기존 전체 설정 불러오기
+                    config = load_full_config("config.json")
+
+                    # LLM 블록만 새로 대입
+                    config["llm"] = {
+                        "temperature": temp,
+                        "top_p": topp,
+                        "repetition_penalty": repeat,
+                        "max_new_tokens": max_tok
+                    }
+
+                    # 전체 저장
+                    save_full_config(config, path="config.json")
+
+                    return gr.update(value="💾 설정 저장 완료")
+                
+                # ✅ 맨 아래에 상태창 배치
+                status = gr.Textbox(label="", interactive=False)
+
+                # 📂 버튼 동작 연결
+                apply_btn.click(
+                    update_config,
+                    inputs=[temperature, top_p, max_tokens, repetition_penalty],
+                    outputs=[status]  # 혹은 []
+                )
+                
+                load_btn.click(
+                    load_config,
+                    inputs=None,
+                    outputs=[temperature, top_p, repetition_penalty, max_tokens, status]
+                )
+
+                save_btn.click(
+                    save_config,
+                    inputs=[temperature, top_p, repetition_penalty, max_tokens],
+                    outputs=[status]
+                )
+
+            ### 3. 프롬프트 편집 탭 ###
+            with gr.TabItem("📝 프롬프트 설정"):
+                gr.Markdown("### 캐릭터 및 배경 롬프트 편집")
+
+                prompt_editor = gr.Textbox(
+                    lines=20,
+                    label="텍스트 (init.txt)",
+                    placeholder="!! 반드시 불러오기를 먼저 하세요 !!",
+                    interactive=True
+                )
+                with gr.Row():
+                    gr.Markdown("#### !! 반드시 불러오기를 먼저 하세요 !!")
+
+                with gr.Row():
+                    load_prompt_btn = gr.Button("📂 현재 프롬프트 불러오기")
+                    save_prompt_btn = gr.Button("💾 작성한 프롬프트로 교체")
+
+                def load_prompt():
+                    try:
+                        with open("assets/prompt/init.txt", "r", encoding="utf-8") as f:
+                            return f.read()
+                    except FileNotFoundError:
+                        return ""
+
+                def save_prompt(text):
+                    with open("assets/prompt/init.txt", "w", encoding="utf-8") as f:
+                        f.write(text)
+                    return "💾 저장 완료!"
+
+                load_prompt_btn.click(
+                    load_prompt,
+                    inputs=None,
+                    outputs=prompt_editor
+                )
+
+                save_prompt_btn.click(
+                    save_prompt,
+                    inputs=[prompt_editor],
+                    outputs=[save_prompt_btn]
+                )
 
         return demo

core/make_pipeline.py

@@ -17,9 +17,19 @@ class MakePipeline:
         self.tokenizer = None
         self.llm = None
         self.device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+        self.config = {  # 초기값
+            "temperature": 0.7,
+            "top_p": 0.9,
+            "repetition_penalty": 1.05,
+            "max_new_tokens": 96
+        }
 
     # 모델 불러오기
     def build(self, type: str):
+        if(type == 'ui'):
+            print("[build] UI 테스트용 - 모델 로딩 생략")
+            return
+        
         if(type == 'hf'):
             # 허깅 페이스 secret에 등록된 토큰 로드
             access_token = os.environ.get("HF_TOKEN")
@@ -29,7 +39,7 @@ class MakePipeline:
                 access_token = f.read().strip()
 
         tokenizer = AutoTokenizer.from_pretrained(self.model_id, token=access_token)
-        model = AutoModelForCausalLM.from_pretrained(self.model_id, token=access_token)
+        model = AutoModelForCausalLM.from_pretrained(self.model_id, token=access_token, trust_remote_code=True)
         self.tokenizer = tokenizer
 
         # 허깅 페이스 업로드 시 f16 사용 안 함
@@ -52,19 +62,24 @@ class MakePipeline:
                 model.to("cuda")
 
         self.llm = llm
-    
+
+    # 파리미터 설정
+    def update_config(self, new_config: dict):
+        self.config.update(new_config)
+        print("[config] updated:", self.config)
+
     # 모델 출력 생성 함수
     def character_chat(self, prompt):
-        print("[debug] generating...")
+        print("[debug] generating with:", self.config)
+
         outputs = self.llm(
             prompt,
             do_sample=True,
-            max_new_tokens=96,
-            temperature=0.7,
-            top_p=0.9,
-            repetition_penalty=1.05,
+            max_new_tokens=self.config["max_new_tokens"],
+            temperature=self.config["temperature"],
+            top_p=self.config["top_p"],
+            repetition_penalty=self.config["repetition_penalty"],
             eos_token_id=self.tokenizer.eos_token_id,
             return_full_text=True
         )
-        full_text = outputs[0]['generated_text']
-        return full_text
+        return outputs[0]["generated_text"]

core/utils.py

@@ -0,0 +1,22 @@
+import json
+import os
+
+CONFIG_PATH = "config.json"
+
+def load_config(path=CONFIG_PATH) -> dict:
+    if not os.path.exists(path):
+        return {}
+    with open(path, "r", encoding="utf-8") as f:
+        return json.load(f)
+
+def load_cha_config(path=CONFIG_PATH) -> dict:
+    config = load_config(path)
+    return config.get("cha", {})
+
+def load_llm_config(path=CONFIG_PATH) -> dict:
+    config = load_config(path)
+    return config.get("llm", {})
+
+def save_config(config: dict, path=CONFIG_PATH):
+    with open(path, "w", encoding="utf-8") as f:
+        json.dump(config, f, indent=4, ensure_ascii=False)

requirements.txt

@@ -66,4 +66,6 @@ typing_extensions==4.14.1
 tzdata==2025.2
 urllib3==2.5.0
 uvicorn==0.35.0
-websockets==15.0.1
+websockets==15.0.1
+einops==0.7.0
+timm==0.9.12