phi与wizardlm
#1
by
Cran-May
- opened
ms刚刚发布了phi-3模型，mit许可证 但是只具备基本英文能力。（测试集上分数非常高）openbuddy有没有可能继续训练和微调？期待和llama3的水平对比。
我们之前试过phi，完全学不进语言，这个系列感觉怪怪的
我们之前试过phi，完全学不进语言，这个系列感觉怪怪的
测试了一下 Phi3，发现现在 Phi3 是会中文的，只不过语言能力比较弱，和 Phi2 只支持英文不一样（微软在 technical report 里也有提到 Phi3 的多语言能力较弱）。是否考虑尝试一下对 Phi3 的微调？
另外，能考虑给一下你们的 GGUF 文件吗？这样方便在笔记本上用 Ollama 运行。
如果是这样的话确实可以。
我们的ollama版本可以在这里找到：ollama run terrence/openbuddy:8b
我们之前试过phi，完全学不进语言，这个系列感觉怪怪的
认为可能是模型尺寸过小，语料库类型单一且没有任何其他语言数据导致的（微软似乎特地全部洗过了）
这个人在很多模型上使用的UNA方法是否有助于恢复多语言能力？（猜测）https://huggingface.co/fblgit
phi此次放出的模型似乎做了全英文的dpo，可能也会影响对其他语言的学习能力？（存疑）
wizardlm2或许也是llama3的有力竞争品，且许可证为apache2