README.md

---
language: ko
license: apache-2.0
base_model: unsloth/Llama-3.2-3B-Instruct
tags:
- financial
- credit-rating
- korean
- llama
- unsloth
- fine-tuned
model_name: FinCreditLlama-3.2-3B
pipeline_tag: text-generation
---

# FinCreditLlama-3.2-3B

## 모델 개요
FinCreditLlama-3.2-3B는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

**베이스 모델**: unsloth/Llama-3.2-3B-Instruct
**데이터셋**: himedia/financial_dummy_data_v4
**학습 방법**: LoRA (Low-Rank Adaptation) - **병합된 전체 모델**
**학습 일시**: 20250702_181705

## 📊 학습 결과
- **Final Training Loss**: 0.8515
- **Final Validation Loss**: 0.7593
- **Best Validation Loss**: 0.7593 (step 10)
- **Overall Improvement**: 62.7%
- **Training Time**: 0.64 minutes

## 하이퍼파라미터
- **Learning Rate**: 0.0002
- **Max Steps**: 10
- **Batch Size**: 2
- **Gradient Accumulation**: 8
- **LoRA r**: 64
- **LoRA alpha**: 64
- **Max Sequence Length**: 2048
- **Warmup Steps**: 5

## 🔧 메모리 사용량
- **GPU**: NVIDIA A100-SXM4-40GB
- **Peak Memory**: 6.674 GB
- **Memory Usage**: 16.9%

## 사용 방법

### 일반적인 사용 (Transformers)
```python
from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)
```

### vLLM 사용 (고성능 추론)
```python
from vllm import LLM, SamplingParams

# vLLM 로드 (병합된 모델이므로 바로 사용 가능)
llm = LLM(
    model="himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705",
    max_model_len=2048,
    gpu_memory_utilization=0.85
)

# 샘플링 파라미터 설정
sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=200
)

# 추론
prompts = ["고객의 신용등급을 평가해주세요:"]
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}")
    print(f"Generated text: {generated_text!r}")
```

### Unsloth 테스트 환경에서 사용
```python
from unsloth import FastLanguageModel

# 원본 LoRA 어댑터로 테스트
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351",  # LoRA 어댑터
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)
```

## 📊 학습 데이터 파일
이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:
- `training_log.json`: 전체 학습 로그 (JSON 형식)
- `FinCreditLlama-3.2-3B_20250702_181705_training_curves.png`: 학습 곡선 시각화 이미지

## 레포지토리명 구성
```
fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705 = fincredit-lamma3-4b-lr2e04-bs2-r64-steps10-20250702_181705
```
- `fincredit-lamma3-4b`: 모델 기본명
- `lr2e04`: Learning Rate
- `bs2`: Batch Size
- `r64`: LoRA rank
- `steps10`: 학습 스텝
- `20250702_181705`: 학습 시각

## 배포 정보
- **모델 타입**: 병합된 전체 모델 (LoRA 어댑터가 베이스 모델에 병합됨)
- **vLLM 호환**: ✅ 완전 호환
- **RunPod 배포**: ✅ 지원
- **원본 LoRA 어댑터**: `himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351`

## 성능
이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

## 라이선스
Apache 2.0