Update README.md

README.md

@@ -1,3 +1,16 @@
+---
+base_model: llm-jp/llm-jp-3-13b
+tags:
+- text-generation-inference
+- transformers
+- unsloth
+- llama
+- trl
+license: apache-2.0
+language:
+- ja
+---
+
 ---
 base_model: llm-jp/llm-jp-3-13b
 tags:
@@ -19,4 +32,86 @@ language:
 
 This llama model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth) and Huggingface's TRL library.
 
-[<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>](https://github.com/unslothai/unsloth)
+
+# LLM-JP-3-13B 推論テンプレート
+
+LLM-JP-3-13Bモデルを使用し、
+GoogleColaboratoryで推論を行うためのテンプレート。
+Unslothを使用。
+
+## インストール
+
+```bash
+pip install unsloth
+pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
+pip install -U torch
+pip install -U peft
+```
+必要なライブラリは適宜保存してください。
+
+## 使用方法
+
+1. Hugging Faceのトークンを設定します
+```python
+HF_TOKEN = "your_token_here"
+```
+
+2. ベースモデルとLoRAアダプターのIDを指定します
+```python
+model_id = "llm-jp/llm-jp-3-13b"
+adapter_id = "154teru/llm-jp-3-13b-it15a4_fullset_lora"
+```
+
+3. モデルとトークナイザーをロードします
+```python
+model, tokenizer = FastLanguageModel.from_pretrained(
+    model_name=model_id,
+    dtype=None,
+    load_in_4bit=True,
+    trust_remote_code=True,
+)
+```
+
+4. LoRAアダプターを統合します
+```python
+model = PeftModel.from_pretrained(model, adapter_id, token=HF_TOKEN)
+```
+
+5. 入力データを準備します
+- JSONLフォーマットで、以下の構造を持つファイルを用意します：
+```json
+{
+    "task_id": "タスクID",
+    "input": "入力テキスト"
+}
+```
+
+6. 推論を実行します
+```python
+FastLanguageModel.for_inference(model)
+results = []
+for dt in tqdm(datasets):
+    input = dt["input"]
+    prompt = f"""### 指示\n{input}\n### 回答\n"""
+    # 推論処理
+```
+
+7. 結果を保存します
+```python
+json_file_id = re.sub(".*/", "", adapter_id)
+with open(f"{json_file_id}_output.jsonl", 'w', encoding='utf-8') as f:
+    for result in results:
+        json.dump(result, f, ensure_ascii=False)
+        f.write('\n')
+```
+
+## 出力フォーマット
+
+結果は以下の形式のJSONLファイルとして保存されます：
+```json
+{
+    "task_id": "タスクID",
+    "input": "入力テキスト",
+    "output": "モデルの出力"
+}
+```