在代码生成、长序列建模、代码修改和 SQL 能力等方面,CodeQwen1.5展现出了卓越的性能,极大地提升了开发人员的工作效率,并简化了软件开发流程。
在代码生成方面,CodeQwen1.5已经超越了许多更大尺寸的模型,缩小了开源 CodeLLM 与 GPT-4之间在编码能力上的差距。通过 HumanEval 和 MBPP 的评估,CodeQwen1.5在各项指标上均表现出色。
此外,LiveCodeBench 的评估显示,CodeQwen1.5在 LeetCode、AtCoder 和 CodeForces 三个竞赛平台的问题上具有极强的泛化能力,尽管其预训练语料中包含了 LeetCode 的数据。
CodeQwen1.5不仅精通 Python,还支持多种编程语言。在 MultiPL-E 的8种主流语言上进行全面评估,CodeQwen1.5证明了其多语言编程的卓越能力。长序列能力对于代码模型至关重要,CodeQwen1.5通过精心构造的长序列代码数据预训练,实现了最长64K 输入长度的支持。
在实际应用方面,CodeQwen1.5在 SWE Bench 上的表现尤为突出,它能够理解代码仓库并生成可通过单测的代码,解决了真实软件开发中的问题。
CodeQwen1.5在代码修改方面的能力也得到了验证,它在 CodeEditorBench 的四个方面——Debug、Translate、Switch、Polish——均达到了最佳效果。
作为一个智能的 SQL 专家,CodeQwen1.5通过自然语言查询数据库,极大地降低了非编程专业人士与高效数据交互之间的学习曲线。在 Spider 和 Bird 两个流行的文本到 SQL 基准测试中,CodeQwen1.5的性能接近 GPT-4,显示了其在 SQL 领域的强大实力。
CodeQwen1.5作为 Qwen1.5开源家族的一员,目前已支持多种平台和工具,如 Transformers, vLLM, llama.cpp, Ollama 等。开源社区对 CodeQwen1.5的发布充满期待,希望它在代码助手、Code Agent 等方面为社区做出贡献,并在未来的代码智能建设中发挥重要作用,实现真正的 AI 程序员。
详细模型介绍:https://qwenlm.github.io/zh/blog/codeqwen1.5/
(举报)