模型大小不太对吧
#1
by
betterme
- opened
q4
对llama.cpp版本有什么要求
@betterme
抱歉回复晚了两天。您说的没错,经过验证,Baichuan2-13B-Chat-ggml-model-q4_0.gguf
确实不正确,现已更新。非常感谢您的问题报告!
@limoncc
llama.cpp b1324 开始支持 Baichuan2
。当前repo中的Baichuan2-13B-Chat-ggml-model-q4_0.gguf
是使用 b1407 完成的。谢谢!
apepkuss79
changed discussion status to
closed