Update README.md

README.md

@@ -6,7 +6,6 @@ tags:
 - unsloth
 - llama
 - trl
-license: apache-2.0
 language:
 - ja
 ---
@@ -39,6 +38,10 @@ LLM-JP-3-13Bモデルを使用し、
 GoogleColaboratoryで推論を行うためのテンプレート。
 Unslothを使用。
 
+開発方針はSFTを中心として、datasetを人間の目と感性で
+可能な限り一貫性を持たせた。
+同時にパラメータを調整し、サンプルコードからmax_seq_length = 2048に変更。
+
 ## インストール
 
 ```bash
@@ -47,22 +50,30 @@ pip uninstall unsloth -y && pip install --upgrade --no-cache-dir "unsloth[colab-
 pip install -U torch
 pip install -U peft
 ```
-必要なライブラリは適宜保存してください。
 
+必要なライブラリは適宜保存してください。
+```bash
+from unsloth import FastLanguageModel
+from peft import PeftModel
+import torch
+import json
+from tqdm import tqdm
+import re
+```
 ## 使用方法
 
-1. Hugging Faceのトークンを設定します
+1. Hugging Faceのトークンを設定
 ```python
 HF_TOKEN = "your_token_here"
 ```
 
-2. ベースモデルとLoRAアダプターのIDを指定します
+2. ベースモデルとLoRAアダプターのIDを指定
 ```python
 model_id = "llm-jp/llm-jp-3-13b"
 adapter_id = "154teru/llm-jp-3-13b-it15a4_fullset_lora"
 ```
 
-3. モデルとトークナイザーをロードします
+3. モデルとトークナイザーをロード
 ```python
 model, tokenizer = FastLanguageModel.from_pretrained(
     model_name=model_id,
@@ -72,12 +83,12 @@ model, tokenizer = FastLanguageModel.from_pretrained(
 )
 ```
 
-4. LoRAアダプターを統合します
+4. LoRAアダプターを統合
 ```python
 model = PeftModel.from_pretrained(model, adapter_id, token=HF_TOKEN)
 ```
 
-5. 入力データを準備します
+5. 入力データを準備
 - JSONLフォーマットで、以下の構造を持つファイルを用意します：
 ```json
 {
@@ -86,7 +97,7 @@ model = PeftModel.from_pretrained(model, adapter_id, token=HF_TOKEN)
 }
 ```
 
-6. 推論を実行します
+6. 推論を実行
 ```python
 FastLanguageModel.for_inference(model)
 results = []
@@ -96,7 +107,7 @@ for dt in tqdm(datasets):
     # 推論処理
 ```
 
-7. 結果を保存します
+7. 結果を保存
 ```python
 json_file_id = re.sub(".*/", "", adapter_id)
 with open(f"{json_file_id}_output.jsonl", 'w', encoding='utf-8') as f:
@@ -105,9 +116,9 @@ with open(f"{json_file_id}_output.jsonl", 'w', encoding='utf-8') as f:
         f.write('\n')
 ```
 
-## 出力フォーマット
+## 出力
 
-結果は以下の形式のJSONLファイルとして保存されます：
+JSONLファイルとして保存
 ```json
 {
     "task_id": "タスクID",