himedia/fincredit-Phi-4-conv-lr2e04-bs16-r64-steps1000-20250622_152404

FinCreditLlama-3.2-3B

모델 개요

FinCreditLlama-3.2-3B는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

베이스 모델: unsloth/Phi-4 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) 학습 일시: 20250622_152404

📊 학습 결과

• Final Training Loss: 0.1960
• Final Validation Loss: 0.1966
• Best Validation Loss: 0.1966 (step 1000)
• Overall Improvement: 83.2%
• Training Time: 191.35 minutes

하이퍼파라미터

• Learning Rate: 0.0002
• Max Steps: 1000
• Batch Size: 4
• Gradient Accumulation: 4
• LoRA r: 64
• LoRA alpha: 64
• Max Sequence Length: 2048
• Warmup Steps: 5

🔧 메모리 사용량

• GPU: NVIDIA RTX A5000
• Peak Memory: 14.283 GB
• Memory Usage: 60.6%

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-Phi-4-conv-lr2e04-bs16-r64-steps1000-20250622_152404")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-Phi-4-conv-lr2e04-bs16-r64-steps1000-20250622_152404")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

• training_log.json: 전체 학습 로그 (JSON 형식)
• FinCreditLlama-3.2-3B_20250622_152404_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

fincredit-Phi-4-conv-lr2e04-bs16-r64-steps1000-20250622_152404 = fincredit-lamma3-4b-lr2e04-bs4-r64-steps1000-20250622_152404

• fincredit-lamma3-4b: 모델 기본명
• lr2e04: Learning Rate
• bs4: Batch Size
• r64: LoRA rank
• steps1000: 학습 스텝
• 20250622_152404: 학습 시각

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0