himedia/fincredit-Phi-3.5-mini-lr2e04-bs16-r32-steps1000-20250622_131709

FinCreditPhi-3.5-mini

모델 개요

FinCreditPhi-3.5-mini는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

베이스 모델: unsloth/Phi-3.5-mini-instruct 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) 학습 일시: 20250622_131709

📊 학습 결과

• Final Training Loss: 0.1521
• Final Validation Loss: 0.1550
• Best Validation Loss: 0.1550 (step 1000)
• Overall Improvement: 87.0%
• Training Time: 73.66 minutes

하이퍼파라미터

• Learning Rate: 0.0002
• Max Steps: 1000
• Batch Size: 4
• Gradient Accumulation: 4
• LoRA r: 32
• LoRA alpha: 32
• Max Sequence Length: 2048
• Warmup Steps: 5

🔧 메모리 사용량

• GPU: NVIDIA RTX A5000
• Peak Memory: 6.381 GB
• Memory Usage: 27.1%

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-Phi-3.5-mini-lr2e04-bs16-r32-steps1000-20250622_131709")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-Phi-3.5-mini-lr2e04-bs16-r32-steps1000-20250622_131709")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

• training_log.json: 전체 학습 로그 (JSON 형식)
• FinCreditPhi-3.5-mini_20250622_131709_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

fincredit-Phi-3.5-mini-lr2e04-bs16-r32-steps1000-20250622_131709 = fincredit-lamma3-4b-lr2e04-bs4-r32-steps1000-20250622_131709

• fincredit-lamma3-4b: 모델 기본명
• lr2e04: Learning Rate
• bs4: Batch Size
• r32: LoRA rank
• steps1000: 학습 스텝
• 20250622_131709: 학습 시각

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0