划重点:
- 🔥20亿参数的 Octopus v2模型一夜下载量超过2k,受到开发者社区极大关注。
- 📱 Octopus v2在智能手机、汽车、个人电脑等端侧运行,超越 GPT-4的准确性和延迟表现。
- ⚡ Octopus v2比 Llama7B + RAG 方案快36倍,标志着设备端 AI 智能体时代的到来。
站长之家(ChinaZ.com)4月7日 消息:近日,斯坦福大学研究人员发布的 Octopus v2模型引起了开发者社区的极大关注,其20亿参数的模型一夜下载量超过2k。
这一模型可以在智能手机、汽车、个人电脑等端侧设备上运行,并在准确性和延迟方面表现超越了 GPT-4,同时将上下文长度减少了95%。Octopus v2还比 Llama7B + RAG 方案快了整整36倍,展示了端侧 AI 智能体的崛起。
Octopus v2的设计独特之处在于其函数性 token 策略,使其能够实现与 GPT-4相当的性能水平,同时大幅提高推理速度,超越基于 RAG 的方法,对边缘计算设备特别有利。模型在生成单独的、嵌套的和并行的函数调用时表现优异。为了训练该模型,研究团队采用了高质量数据集,并使用 Google Gemma-2B 作为预训练模型框架。训练过程中采用了完整模型训练和 LoRA 模型训练两种方法,展现了 Octopus v2在推理速度和准确性方面的优异表现。
在基准测试中,Octopus v2表现出卓越的推理速度,比 Llama7B + RAG 解决方案快36倍,在准确率上也超越了其他方案。这种效率和性能的提升归功于 Octopus v2的函数性 token 设计,使其成为端侧设备上极具竞争力的 AI 智能体。设备端 AI 智能体时代即将到来,Octopus v2的发布为这一趋势注入了新的活力。
论文:https://arxiv.org/abs/2404.01744
产品入口:https://huggingface.co/NexaAIDev/Octopus-v2
(举报)