Korean Textbook Fine-tuned Model

모델 설명

이 모델은 unsloth/gpt-oss-20b를 베이스로 하여 maywell/korean_textbooks 데이터셋으로 파인튜닝된 한국어 교육 전용 모델입니다.

모델 상세 정보

베이스 모델: unsloth/gpt-oss-20b
파인튜닝 데이터셋: maywell/korean_textbooks
훈련 방법: LoRA (Low-Rank Adaptation)
언어: 한국어 (Korean)
용도: 교육 콘텐츠 생성

사용 방법

모델 로드

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 베이스 모델 로드
base_model = AutoModelForCausalLM.from_pretrained("unsloth/gpt-oss-20b")

# LoRA 어댑터 로드
model = PeftModel.from_pretrained(base_model, "your-username/korean-textbook-model")

# 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("your-username/korean-textbook-model")

추론 예시

messages = [
    {"role": "system", "content": "당신은 한국어로 교육 내용을 설명하는 도움이 되는 어시스턴트입니다."},
    {"role": "user", "content": "2의 거듭제곱에 대해 설명해주세요."},
]

inputs = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt",
    return_dict=True
)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

훈련 상세 정보

훈련 스텝: 30 steps
학습률: 자동 설정 (Unsloth 기본값)
배치 크기: 자동 설정
최적화: AdamW
정밀도: Mixed precision (fp16)

성능

이 모델은 한국어 교육 자료 생성에 특화되어 있으며, 다음과 같은 주제에서 우수한 성능을 보입니다:

수학 개념 설명
과학 원리 설명
교육적 내용 생성
한국어 대화

라이선스

이 모델은 베이스 모델의 라이선스를 따릅니다. 자세한 내용은 원본 모델의 라이선스를 확인해주세요.

인용

이 모델을 사용하신다면 다음과 같이 인용해주세요:

Korean Textbook Fine-tuned Model, based on unsloth/gpt-oss-20b
Fine-tuned on maywell/korean_textbooks dataset

제한사항

이 모델은 교육적 목적으로 설계되었습니다
일반적인 대화나 다른 도메인에서는 성능이 제한될 수 있습니다
항상 생성된 내용을 검토하고 검증하시기 바랍니다

연락처

문의사항이 있으시면 이슈를 통해 연락해주세요.

PAUL1122
/

korean-textbook-finetuned