OpenBuddy

/

openbuddy-mixtral-7bx8-v18.1-32k-gptq

like 3

Follow

OpenBuddy 140

这个好像可以自行用CPU转

nold的量化（hf-mirror的镜像站适合在国内使用）https://huggingface.co/nold/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
https://hf-mirror.com/nold/openbuddy-mixtral-7bx8-v18.1-32k-GGUF

LoneStriker的量化
https://huggingface.co/LoneStriker/openbuddy-mixtral-7bx8-v18.1-32k-GGUF
https://hf-mirror.com/LoneStriker/openbuddy-mixtral-7bx8-v18.1-32k-GGUF

可以直接在huggingface的models中搜索 关键词openbuddy gguf，策略recently created，hf上有像LoneStriker，nold，TheBloke，Nexesenex，dranger003，s3nh，ikawrakow这样一水的大佬平时做各种模型的gguf量化的，可以给人follow一下

要是需要基于iMatrix重要性矩阵新方法的gguf量化那就得自己整了 或者试试联系Nexesenex

用上面的两个GGUF感觉结果很奇怪，之前thebloke转的16.3就很正常

@JamePeng2023 确实，从v17开始我就发现他们转的gguf有问题，只有the bloke转的可以正常使用。我现在不得不用OpenBuddy官方的GPTQ量化版本。