roylin1003/royal-zhTW-ID-q3_k_s.gguf

Royal ZhTW-ID Q3_K_S - Quantized Translation Model

高效能量化版本的繁體中文↔印尼文雙向翻譯 GGUF 模型，基於 Llama 架構，採用 Q2_K 量化技術。

模型詳情

• 格式: GGUF
• 量化: Q3_K_S (小型混合精度量化)
• 架構: Llama
• 大小: ~3.25GB (相較原版 F16 減少約 77% 大小)
• 語言: 繁體中文 (zh-TW) ↔ 印尼文 (ID) 雙向翻譯
• 原始模型: roylin1003/royal-zhTW-ID-f16.gguf
• 量化工具: llama-quantize (llama.cpp)

量化資訊

此模型使用 Q2_K 量化，提供：

• 極大幅度減少記憶體使用量
• 適合資源極其有限的環境
• 非常快的推理速度
• 在極小模型尺寸下仍保持可用的品質

使用方式

Ollama

ollama run roylin1003/royal-ZhTW-ID-q2_k.gguf

llama.cpp

./main -m royal-ZhTW-ID-q2_k.gguf -p "Hello" -c 2048

Python (llama-cpp-python)

from llama_cpp import Llama
llm = Llama(
    model_path="royal-ZhTW-ID-q2_k.gguf",
    n_ctx=2048,
    n_threads=8
)

LM Studio

直接載入 GGUF 檔案即可使用

翻譯範例

繁體中文 → 印尼文

輸入: 請將以下繁體中文翻譯成印尼文
然而面臨到期債務壓力，可能影響其獲得補助的資格。
輸出: Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.

印尼文 → 繁體中文

輸入: 請將以下印尼文翻譯成繁體中文
Namun, tekanan dari utang yang jatuh tempo dapat memengaruhi kelayakannya untuk menerima subsidi tersebut.
輸出: 然而面臨到期債務壓力，可能影響其獲得補助的資格。

系統需求

• RAM: 最低 5GB，建議 7GB+
• CPU: 支援 AVX2 指令集
• 儲存: 約 3.25GB 空間

效能比較

版本	大小	記憶體需求	推理速度	品質保持率
F16	~14GB	~16GB	基準	100%
Q3_K_S	~3.25GB	~5GB	2.5-3x faster	~90%

兼容性

• ✅ llama.cpp
• ✅ Ollama
• ✅ text-generation-webui
• ✅ LM Studio
• ✅ KoboldCpp
• ✅ Jan
• ✅ GPT4All

量化技術

Q2_K 採用極度壓縮策略：

• 大幅降低位元精度
• 優化記憶體存取模式
• 在極小空間下保持基本翻譯能力

訓練資料

模型基於高品質的中文↔印尼文平行語料進行微調，涵蓋新聞、商務、學術等多種領域的翻譯對。

建議用途

• 繁體中文↔印尼文雙向翻譯
• 跨語言文檔處理
• 商務文件翻譯
• 新聞文章翻譯
• 學術文獻翻譯
• 資源受限環境的翻譯應用

授權

本模型採用 Apache 2.0 授權條款。

致謝

感謝 llama.cpp 團隊提供優秀的量化工具。

由 Roy Lin 創建 🚀 | Q3_K_S 小型量化版本