Aratako commited on
Commit
51d7af8
1 Parent(s): 15b9f41

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +8 -1
README.md CHANGED
@@ -19,6 +19,13 @@ GENIAC 松尾研 LLM開発プロジェクトで開発されたLLMである[webla
19
  ## 情報提供
20
  この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQを[こちら](https://github.com/team-hatakeyama-phase2/AutoAWQ)で公開しています。
21
 
22
- また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMを[こちら](https://github.com/team-hatakeyama-phase2/vllm)で公開しています。
 
 
 
 
 
 
 
23
 
24
  モデルに関する詳細については[元モデル](https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0)をご確認ください。
 
19
  ## 情報提供
20
  この元モデルは独自アーキテクチャを持つモデルであるため、変換のためにAutoAWQライブラリの一部改変が必要となりました。本モデルの変換に必要な改変を施したAutoAWQを[こちら](https://github.com/team-hatakeyama-phase2/AutoAWQ)で公開しています。
21
 
22
+ また、同様の理由で本モデルをvLLMを使って推論する際にはvLLMライブラリの一部改変が必要となります。本モデルの推論に必要な改変を施したvLLMを[こちら](https://github.com/team-hatakeyama-phase2/vllm)で公開しています。
23
+ これを以下のようにソースからビルドし推論に利用してください。
24
+
25
+ ```bash
26
+ git clone https://github.com/team-hatakeyama-phase2/vllm.git
27
+ cd vllm
28
+ LD_LIBRARY_PATH="" MAX_JOBS=16 pip install -e .
29
+ ```
30
 
31
  モデルに関する詳細については[元モデル](https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0)をご確認ください。