A newer version of this model is available:
DavidLanz/Llama-3.2-Taiwan-3B-Instruct
Model Card for DavidLanz/Llama-3.2-Taiwan-3B-Instruct-GGUF
圖像後製來自 VisuaParadigm：站在玉山上的量化 🦙 。
透過 llama.cpp 將 DavidLanz/Llama-3.2-Taiwan-3B-Instruct 版本轉成 .gguf 和各種量化版本模型。
Model Change Log
| Update Date | Model Version | Key Changes |
|---|---|---|
| 2025-01-22 | v2025.01.01 | This version corresponds to the v2025.01.22 release of DavidLanz/Llama-3.2-Taiwan-3B-Instruct. |
| 2025-01-01 | v2025.01.01 | This version corresponds to the v2025.01.01 release of DavidLanz/Llama-3.2-Taiwan-3B-Instruct. |
| 2024-12-11 | v2024.12.11 | This version corresponds to the v2024.11.27 release of DavidLanz/Llama-3.2-Taiwan-3B-Instruct. |
More Information
請參考不同 tag 選擇對照的原始非量化的版本，最新的 main 分支對映的是 v2025.01.01 版本，有關原始非量化版本請參考原始模型 DavidLanz/Llama-3.2-Taiwan-3B-Instruct 介紹。
已知問題： 量化後的模型會有機率輸出全部簡體中文的情況，此問題目前尚未深入研究原因。
Issuses
How to use in Ollama
根據 Issue：ollama 直接run gguf會跑出文不對題 討論串， @k1dave6412 查出原因是要調整預設的對話模板（chat template），故我們在 repo 內有放置一個 template 的檔案來修正這個問題，但如果你要客制你的對話模板，請照著 Ollama 的 Template 設定。
Model Card Authors
Model Card Contact
- Downloads last month
- 25
Hardware compatibility
Log In
to view the estimation
5-bit
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
HF Inference deployability: The HF Inference API does not support text-generation models for llama.cpp
library.
Model tree for DavidLanz/Llama-3.2-Taiwan-3B-Instruct-GGUF
Base model
meta-llama/Llama-3.2-3B
Finetuned
lianghsun/Llama-3.2-Taiwan-3B
Finetuned
DavidLanz/Llama-3.2-Taiwan-3B-Instruct