README.md

metadata

license: llama3
base_model: elyza/Llama-3-ELYZA-JP-8B
tags:
  - japanese
  - legal
  - judicial-exam
  - 司法試験
  - fine-tuned
  - llama
  - peft
  - lora
language:
  - ja
datasets:
  - custom-judicial-exam-dataset

司法試験特化日本語LLM

モデル概要

このモデルはelyza/Llama-3-ELYZA-JP-8Bをベースに、日本の司法試験問題でファインチューニングした特化モデルです。

特徴

• ベースモデル: elyza/Llama-3-ELYZA-JP-8B
• 特化分野: 日本の司法試験（憲法、民法、刑法等）
• 言語: 日本語
• ファインチューニング手法: QLoRA (Quantized Low-Rank Adaptation)

学習情報

• 学習データ数: 317件
• エポック数: 2
• 学習時間: 0:05:11.834189
• LoRA ランク: 8
• 学習率: 5e-05

使用方法

LoRAアダプター版（eyepyon/judicial-exam-llama3-jpv3-lora-v2）

from transformers import AutoTokenizer, AutoModelForCausalLM
from peft import PeftModel

base_model = AutoModelForCausalLM.from_pretrained("elyza/Llama-3-ELYZA-JP-8B")
tokenizer = AutoTokenizer.from_pretrained("elyza/Llama-3-ELYZA-JP-8B")
model = PeftModel.from_pretrained(base_model, "eyepyon/judicial-exam-llama3-jpv3-lora-v2")

inputs = tokenizer("司法試験問題:", return_tensors="pt")
outputs = model.generate(**inputs, max_length=512)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

マージ済みモデル版（eyepyon/judicial-exam-llama3-jpv3-merged-v2）

from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("eyepyon/judicial-exam-llama3-jpv3-merged-v2")
tokenizer = AutoTokenizer.from_pretrained("eyepyon/judicial-exam-llama3-jpv3-merged-v2")

inputs = tokenizer("司法試験問題:", return_tensors="pt")
outputs = model.generate(**inputs, max_length=512)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)

注意事項

• このモデルは教育・研究目的で作成されています
• 実際の司法試験や法的判断には使用しないでください
• 出力結果は参考程度に留めてください

ライセンス

ベースモデルのLlama 3ライセンスに準拠します。

---