himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-new

FinCreditLlama-3.2-3B

모델 개요

FinCreditLlama-3.2-3B는 금융 신용 평가를 위해 특별히 설계된 한국어 언어 모델입니다.

베이스 모델: unsloth/Llama-3.2-3B-Instruct 데이터셋: himedia/financial_dummy_data_v4 학습 방법: LoRA (Low-Rank Adaptation) 학습 일시: 20250623_060351

📊 학습 결과

• Final Training Loss: 0.2510
• Final Validation Loss: 0.2518
• Best Validation Loss: 0.2518 (step 1000)
• Overall Improvement: 89.0%
• Training Time: 47.81 minutes

하이퍼파라미터

• Learning Rate: 0.0002
• Max Steps: 1000
• Batch Size: 2
• Gradient Accumulation: 8
• LoRA r: 64
• LoRA alpha: 64
• Max Sequence Length: 2048
• Warmup Steps: 5

🔧 메모리 사용량

• GPU: NVIDIA RTX A5000
• Peak Memory: 4.217 GB
• Memory Usage: 17.9%

사용 방법

from transformers import AutoTokenizer, AutoModelForCausalLM

# 모델과 토크나이저 로드
tokenizer = AutoTokenizer.from_pretrained("himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351")
model = AutoModelForCausalLM.from_pretrained("himedia/fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351")

# 간단한 추론 예제
prompt = "고객의 신용등급을 평가해주세요:"
inputs = tokenizer(prompt, return_tensors="pt")
outputs = model.generate(**inputs, max_length=200)
result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

📊 학습 데이터 파일

이 레포지토리에는 다음 학습 관련 파일들이 포함되어 있습니다:

• training_log.json: 전체 학습 로그 (JSON 형식)
• FinCreditLlama-3.2-3B_20250623_060351_training_curves.png: 학습 곡선 시각화 이미지

레포지토리명 구성

fincredit-Llama-3.2-3B-lr2e04-bs16-r64-steps1000-20250623_060351 = fincredit-lamma3-4b-lr2e04-bs2-r64-steps1000-20250623_060351

• fincredit-lamma3-4b: 모델 기본명
• lr2e04: Learning Rate
• bs2: Batch Size
• r64: LoRA rank
• steps1000: 학습 스텝
• 20250623_060351: 학습 시각

성능

이 모델은 한국어 금융 텍스트에 대해 파인튜닝되어 신용 평가 관련 질의응답에 특화되어 있습니다.

라이선스

Apache 2.0