README.md

metadata

language: ko
license: apache-2.0
base_model: unsloth/Llama-3.2-3B-Instruct
tags:
  - financial
  - credit-rating
  - korean
  - llama
  - unsloth
  - fine-tuned
model_name: FinCreditLlama-3.2-3B
pipeline_tag: text-generation

FinCreditLlama-3.2-3B

모델 개요

FinCreditLlama-3.2-3B는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

베이스 모델: unsloth/Llama-3.2-3B-Instruct 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) - 병합된 전체 모델 학습 일시: 20250702_181705

📊 학습 결과

• Final Training Loss: 0.8515
• Final Validation Loss: 0.7593
• Best Validation Loss: 0.7593 (step 10)
• Overall Improvement: 62.7%
• Training Time: 0.64 minutes

하이퍼파라미터

• Learning Rate: 0.0002
• Max Steps: 10
• Batch Size: 2
• Gradient Accumulation: 8
• LoRA r: 64
• LoRA alpha: 64
• Max Sequence Length: 2048
• Warmup Steps: 5

🔧 메모리 사용량

• GPU: NVIDIA A100-SXM4-40GB
• Peak Memory: 6.674 GB
• Memory Usage: 16.9%

사용 방법

일반적인 사용 (Transformers)

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

vLLM 사용 (고성능 추론)

from vllm import LLM, SamplingParams

# vLLM 로드 (병합된 모델이므로 바로 사용 가능)
llm = LLM(
    model="himedia/fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705",
    max_model_len=2048,
    gpu_memory_utilization=0.85
)

# 샘플링 파라미터 설정
sampling_params = SamplingParams(
    temperature=0.7,
    top_p=0.9,
    max_tokens=200
)

# 추론
prompts = ["고객의 신용등급을 평가해주세요:"]
outputs = llm.generate(prompts, sampling_params)

for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}")
    print(f"Generated text: {generated_text!r}")

Unsloth 테스트 환경에서 사용

from unsloth import FastLanguageModel

# 원본 LoRA 어댑터로 테스트
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name = "himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351",  # LoRA 어댑터
    max_seq_length = 2048,
    dtype = None,
    load_in_4bit = True,
)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

• training_log.json: 전체 학습 로그 (JSON 형식)
• FinCreditLlama-3.2-3B_20250702_181705_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

fincredit-lamma-3.2-3b-lr2e04-bs16-r64-steps10-20250702_181705 = fincredit-lamma3-4b-lr2e04-bs2-r64-steps10-20250702_181705

• fincredit-lamma3-4b: 모델 기본명
• lr2e04: Learning Rate
• bs2: Batch Size
• r64: LoRA rank
• steps10: 학습 스텝
• 20250702_181705: 학습 시각

배포 정보

• 모델 타입: 병합된 전체 모델 (LoRA 어댑터가 베이스 모델에 병합됨)
• vLLM 호환: ✅ 완전 호환
• RunPod 배포: ✅ 지원
• 원본 LoRA 어댑터: himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0