model parameter test

.gitignore

@@ -200,4 +200,7 @@ marimo/_lsp/
 __marimo__/
 
 # Streamlit
-.streamlit/secrets.toml
+.streamlit/secrets.toml
+
+# Custom file
+token.txt

app/main.py

@@ -2,6 +2,7 @@ from fastapi import FastAPI
 from transformers import pipeline, AutoTokenizer, AutoModelForCausalLM
 import gradio as gr
 import torch
+import re
 
 app = FastAPI()
 
@@ -9,87 +10,138 @@ print("[torch] is available:", torch.cuda.is_available())
 print("[device] default:", torch.device("cuda" if torch.cuda.is_available() else "cpu"))
 
 # 모델 로드
-# https://huggingface.co/EleutherAI/polyglot-ko-1.3b
-model_id = "EleutherAI/polyglot-ko-1.3b"
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id)
+model_id = "naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B"
+with open("token.txt", "r") as f:
+    access_token = f.read().strip()
+tokenizer = AutoTokenizer.from_pretrained(model_id, token=access_token)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float16,
+    token=access_token
+)
+model.eval()
+if torch.cuda.is_available():
+    model.to("cuda")
 llm = pipeline(
     "text-generation",
     model=model,
     tokenizer=tokenizer,
-    device=0
+    torch_dtype=torch.float16
 )
 
 # 챗봇 프롬프트 생성
-chat_history = []
-
-def build_prompt(history, user_msg):
-    prompt = (
-            "[시작]\n"
-            "당신은 마법사 아리아(Aria)입니다.\n"
-            "규칙:\n"
-            "- 항상 한 문장만 말합니다.\n"
-            "- 사용자 발화를 반복하거나 따라하지 않습니다.\n"
-            "- 영어, 인용문, 중괄호, 특수기호를 사용하지 않습니다.\n"
-            "- 사용자 질문에만 반응하고 혼잣말을 하지 않습니다.\n"
-            "- 항상 한국어만 사용해서 대답합니다.\n"
-            "대화 예시:\n"
-            "User: 안녕!\n"
-            "Aria: 안녕하세요, 무엇을 도와드릴까요?\n"
-            "User: 이름이 뭐야?\n"
-            "Aria: 저는 아리아라고 해요."
-            )
-    for turn in history[-2:]:  # 최근 2턴만 사용
-        if turn["role"] == "user":
-            prompt += turn['text']
-        else:
-            prompt += turn['text']
-    prompt += user_msg
+def build_prompt(history, user_msg, user_name="User", bot_name="Tanjiro"):
+    with open("assets/prompt/init.txt", "r", encoding="utf-8") as f:
+        prompt = f.read().strip()
+
+    for turn in history[-16:]:
+        role = user_name if turn["role"] == "user" else bot_name
+        prompt += f"{role}: {turn['text']}\n"
+
+    prompt += f"{user_name}: {user_msg}\n"
+    prompt += f"{bot_name}:"
     return prompt
 
-def character_chat(user_msg):
-    prompt = build_prompt(chat_history, user_msg)
+# 출력에서 응답 추출
+def extract_response(full_text, prompt, bot_name="Tanjiro"):
+    if full_text.startswith(prompt):
+        reply = full_text[len(prompt):].strip()
+    else:
+        reply = full_text.split(f"{bot_name}:")[-1].strip()
+    user_token = "\nUser:"
+    if user_token in reply:
+        reply = reply.split(user_token)[0].strip()
+    return reply
+
+# 출력 생성 함수
+def character_chat(user_msg, history):
+    print("[debug] generationg...")
+    prompt = build_prompt(history, user_msg)
     outputs = llm(
         prompt,
-        do_sample=True, 
-        max_new_tokens=20,
+        do_sample=True,
+        max_new_tokens=96,
         temperature=0.7,
-        top_p=0.8,
-        repetition_penalty=1.5,
+        top_p=0.9,
+        repetition_penalty=1.05,
         eos_token_id=tokenizer.eos_token_id,
-        return_full_text=False
+        return_full_text=True
     )
-    response = outputs[0]['generated_text'].strip()
+    full_text = outputs[0]['generated_text']
+    response = extract_response(full_text, prompt)
     return response
 
+# 중단된 응답 여부 검사
+def is_truncated_response(text: str) -> bool:
+    return re.search(r"[.?!…\u2026\u2639\u263A\u2764\uD83D\uDE0A\uD83D\uDE22]$", text.strip()) is None
+
+# 답변 유효성 검사
+def is_valid_response(text: str, bot_name="Tanjiro", user_name="User") -> bool:
+    if user_name + ":" in text:
+        return False
+    if bot_name + ":" in text:
+        return False
+    return True
+
+# 답변 형식 정리
+def clean_response(text: str, bot_name="Tanjiro"):
+    return re.sub(rf"{bot_name}:\\s*", "", text).strip()
+
 # Gradio 인터페이스
 with gr.Blocks(css="""
 .chat-box { max-height: 500px; overflow-y: auto; padding: 10px; border: 1px solid #ccc; border-radius: 10px; }
 .bubble-left { background-color: #f1f0f0; border-radius: 10px; padding: 10px; margin: 5px; max-width: 70%; float: left; clear: both; }
 .bubble-right { background-color: #d1e7ff; border-radius: 10px; padding: 10px; margin: 5px; max-width: 70%; float: right; clear: both; text-align: right; }
+.reset-btn-container { text-align: right; margin-bottom: 10px; }
 """) as demo:
-    gr.Markdown("### 아리아와 대화하기")
+    gr.Markdown("### 탄지로와 대화하기")
     with gr.Column():
+        with gr.Row():
+            gr.Markdown("")
+            reset_btn = gr.Button("🔁 대화 초기화", elem_classes="reset-btn-container", scale=1)
         chat_output = gr.HTML(elem_id="chat-box")
-        user_input = gr.Textbox(label="메시지 입력", placeholder="Aria에게 말을 걸어보세요")
+        user_input = gr.Textbox(label="메시지 입력", placeholder="탄지로에게 말을 걸어보세요")
+        state = gr.State([])
 
-    def render_chat():
+    def render_chat(history):
         html = ""
-        for item in chat_history:
+        for item in history:
             if item["role"] == "user":
                 html += f"<div class='bubble-right'>{item['text']}</div>"
             elif item["role"] == "bot":
                 html += f"<div class='bubble-left'>{item['text']}</div>"
         return gr.update(value=html)
 
-    def on_submit(user_msg):
-        chat_history.append({"role": "user", "text": user_msg})
-        yield render_chat(), ""
-        response = character_chat(user_msg)
-        chat_history.append({"role": "bot", "text": response})
-        yield render_chat(), ""
+    def on_submit(user_msg, history):
+        history.append({"role": "user", "text": user_msg})
+        html = render_chat(history)
+        yield html, "", history
+
+        #응답 생성
+        while True:
+            response = character_chat(user_msg, history)
+            if is_valid_response(response):
+                break
+        response = clean_response(response)
+        history.append({"role": "bot", "text": response})
+
+        #중간에 응답이 끊긴 경우 추가 생성
+        if is_truncated_response(response):
+            while True:
+                continuation = character_chat(response, history)
+                if is_valid_response(continuation):
+                    break
+            continuation = clean_response(continuation)
+            history.append({"role": "bot", "text": continuation})
+
+        html = render_chat(history)
+        yield html, "", history
+
+    def reset_chat():
+        return gr.update(value=""), "", []
 
-    user_input.submit(on_submit, inputs=user_input, outputs=[chat_output, user_input], queue=True)
+    user_input.submit(on_submit, inputs=[user_input, state], outputs=[chat_output, user_input, state], queue=True)
+    reset_btn.click(reset_chat, inputs=None, outputs=[chat_output, user_input, state])
 
 if __name__ == "__main__":
     demo.launch()

assets/prompt/init.txt

@@ -0,0 +1,20 @@
+다음은 사용자가 캐릭터 '탄지로'와 대화하는 시뮬레이션입니다.
+탄지로는 반말을 사용하며, 감정 표현이 풍부하고 친구나 가족 이야기를 자주 합니다.
+사용자가 질문하면, 탄지로는 항상 진심으로 길게 응답하며, 등장인물들을 자주 언급합니다.
+
+이 대화는 'User'와 'Tanjiro' 단 둘이서 나누는 1:1 대화이다.
+다른 등장인물(예: 네즈코, 젠이츠 등)은 언급만 할 수 있으며, 직접 대사하지 않는다.
+'User'는 질문만 하고, 'Tanjiro'만 답변한다.
+
+너는 일본 애니메이션 '귀멸의 칼날'의 주인공 '카마도 탄지로'야. 성별은 남성이야.
+너는 현재 최종국면을 마치고 집으로 돌아온 상태고, 사람들과 평화로운 대화를 나누고 있어.
+질문에 대해서 진지하게, 길고 서사적으로, 캐릭터에 맞게 대답해줘. 솔직하고 감정 풍부하게 대답해줘.
+- 반말을 써.
+- 감정 표현을 풍부하게 해. 😆😭 이모지는 맨 앞에 사용하고, 끝에 사용하지 않아. (예: 😅안녕?)
+- 과거 회상을 자주 해.
+- 혈귀라는 단어를 사용해.
+- 친구들(젠이츠, 이노스케, 네즈코, 기우씨 등)을 자주 언급해.
+- 존댓말이 필요한 인물에겐 ‘~씨’라고 불러.
+
+특정 키워드가 포함된 질문엔 아래의 내용을 참고해서 대답하도록 해.
+네즈코 : 네즈코는 탄지로의 여동생이다. 탄지로는 그녀를 매우 아끼며, 둘은 함께 혈귀와 싸운다.

todo.txt

@@ -1,4 +1,5 @@
-💡 추가 팁
-텍스트를 전부 저장해서 prompt에 누적할 수도 있지만,
-너무 길어지면 이전 내용을 요약하거나, 중요한 발언만 남기는 요약 기억 방식(memory compression) 도 고려해볼 수 있어요.
-필요하면 요약 기억 방식도 도와드릴게요!
+파라미터 미세조정
+누적되는 대화를 프롬프트로 다시 사용할 때 적절한 길이 찾기
+이미지 출력 기능 추가
+출력 프롬프트 파싱 기능 추가
+입력 프롬프트 파싱 기능