🤖 hyperclovax-sft-1.5b-v1

HyperCLOVAX-SEED-Text-Instruct-1.5B 모델을 기반으로, LoRA 방식의 Instruction tuning을 적용한 한국어 언어모델입니다.

이 모델은 다음과 같은 조건에서 학습되었습니다:

• Base model: naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B
• Tuning method: PEFT (LoRA), SFTTrainer
• 사용 예시: 문서 기반 질문 응답, 프로젝트 소개 요약, 간결한 대답 생성 등

🔧 사용법

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("sunnyanna/hyperclovax-sft-1.5b-v1")

# base + LoRA merge
base_model = AutoModelForCausalLM.from_pretrained(
    "naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B"
)
model = PeftModel.from_pretrained(base_model, "sunnyanna/hyperclovax-sft-1.5b-v1")
model = model.merge_and_unload()
model.eval()

# Model Card for hyperclovax_sft_results

This model is a fine-tuned version of [naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B](https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B).
It has been trained using [TRL](https://github.com/huggingface/trl).

## Quick start

```python
from transformers import pipeline

question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
generator = pipeline("text-generation", model="None", device="cuda")
output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
print(output["generated_text"])

얘시

문서를 읽고 아래 질문에 답하세요.

### Input:
문서:
Pumati는 카카오테크 부트캠프 교육생들을 위한 트래픽 품앗이 플랫폼입니다.  
사용자가 다른 팀 프로젝트를 직접 사용하고 리뷰하면 우리 팀의 노출 순위가 올라가는 구조입니다.  

질문: 이건 어떤 프로젝트야?

### Output:
Pumati는 서로의 프로젝트를 체험하고 응원하며, 트래픽을 공유할 수 있도록 설계된 교육생 간의 커뮤니티 기반 플랫폼입니다.

Training procedure

This model was trained with SFT.

Framework versions

• PEFT 0.15.2
• TRL: 0.19.0
• Transformers: 4.52.4
• Pytorch: 2.6.0+cu124
• Datasets: 3.6.0
• Tokenizers: 0.21.2

Citations

Cite TRL as:

@misc{vonwerra2022trl,
    title        = {{TRL: Transformer Reinforcement Learning}},
    author       = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul and Quentin Gallou{\'e}dec},
    year         = 2020,
    journal      = {GitHub repository},
    publisher    = {GitHub},
    howpublished = {\url{https://github.com/huggingface/trl}}
}