Update README.md
Browse files
README.md
CHANGED
|
@@ -27,7 +27,8 @@ base_model_relation: quantized
|
|
| 27 |
|
| 28 |
1. 下載 [Kuwa v0.3.4 原始碼](https://github.com/kuwaai/genai-os/tree/main)
|
| 29 |
2. 參考[安裝文件](https://github.com/kuwaai/genai-os/blob/main/docs/docker_quick_installation.md)安裝 Kuwa，也可以參考[社群貢獻的手冊](https://kuwaai.org/zh-Hant/os/User%20Manual)
|
| 30 |
-
3.
|
|
|
|
| 31 |
```yaml
|
| 32 |
services:
|
| 33 |
llamacpp-executor:
|
|
@@ -56,7 +57,7 @@ base_model_relation: quantized
|
|
| 56 |
# capabilities: [gpu]
|
| 57 |
networks: ["backend"]
|
| 58 |
```
|
| 59 |
-
|
| 60 |
|
| 61 |
# 如何量化
|
| 62 |
|
|
|
|
| 27 |
|
| 28 |
1. 下載 [Kuwa v0.3.4 原始碼](https://github.com/kuwaai/genai-os/tree/main)
|
| 29 |
2. 參考[安裝文件](https://github.com/kuwaai/genai-os/blob/main/docs/docker_quick_installation.md)安裝 Kuwa，也可以參考[社群貢獻的手冊](https://kuwaai.org/zh-Hant/os/User%20Manual)
|
| 30 |
+
3. 從[tetf/Llama-3.1-TAIDE-LX-8B-Chat-GGUF](https://huggingface.co/tetf/Llama-3.1-TAIDE-LX-8B-Chat-GGUF)下載 `Llama-3.1-TAIDE-LX-8B-Chat-Q4_K_M.gguf` 到任意目錄中
|
| 31 |
+
4. 新增 `genai-os/docker/compose/sample/taide-llamacpp.yaml`設定檔，填入以下內容
|
| 32 |
```yaml
|
| 33 |
services:
|
| 34 |
llamacpp-executor:
|
|
|
|
| 57 |
# capabilities: [gpu]
|
| 58 |
networks: ["backend"]
|
| 59 |
```
|
| 60 |
+
5. 在 `genai-os/docker` 目錄下執行 `./run.sh` 即可啟動新模型
|
| 61 |
|
| 62 |
# 如何量化
|
| 63 |
|