站长之家(ChinaZ.com)4月7日 消息:斯坦福大学的研究团队近日推出了一款名为Octopusv2的新型人工智能模型,这款模型以其在端侧设备上的强大运行能力而受到广泛关注。
Octopusv2是一款拥有20亿参数的开源语言模型,专为在Android设备上运行而设计,同时也适用于汽车、个人电脑等其他端侧设备。该模型在准确性和延迟方面的表现超越了GPT-4,并且在上下文长度上减少了95%,显示出了显著的性能优势。
论文地址:https://arxiv.org/abs/2404.01744
模型主页:https://huggingface.co/NexaAIDev/Octopus-v2
Octopusv2的推出,标志着设备端AI智能体时代的来临。与传统的云端AI模型相比,端侧AI模型能够在本地设备上直接处理数据,减少了对网络的依赖,提高了数据处理的速度和隐私性。Octopusv2的下载量在短时间内突破了2000次,显示出开发者社区对其的高度认可和兴趣。
Octopus-V2-2B模型的开发过程中,研究团队采用了创新的函数token策略,这使得模型在训练和推理阶段能够高效地生成复杂的函数调用。为了训练、验证和测试模型,团队创建了高质量的数据集,并采用了Google Gemini进行二进制验证支持。此外,研究团队还编写了20个Android API描述,用于模型的训练,以确保其在实际应用中的高效性和准确性。
在模型开发与训练方面,Octopusv2采用了Google Gemma-2B模型作为预训练基础,并结合了完整模型训练和LoRA模型训练两种方法。通过这些方法,模型在保持与GPT-4相当的性能水平的同时,显著提高了推理速度。在单个GPU上运行Octopus-V2-2B模型的代码也已经公开,方便开发者进行实验和应用。
在性能评估方面,Octopus-V2-2B在基准测试中表现出了卓越的推理速度,比Llama7B+RAG解决方案快36倍,并且在函数调用准确率上超越了31%。
与依赖集群A100/H100GPU的GPT-4-turbo相比,Octopus-V2-2B的速度提高了168%。这些效率上的突破,使得Octopus-V2-2B在速度和准确率上都展现出了强大的竞争力。
随着Octopusv2的推出,我们有理由相信,端侧AI的发展将为各种应用带来革命性的变革。无论是在智能手机、汽车还是个人电脑等设备上,Octopusv2都能够提供高效、准确的AI支持,推动智能设备向更加智能化的方向发展。对于那些对AI技术充满热情的开发者和企业来说,Octopusv2无疑提供了一个全新的平台,以探索和实现更多创新的应用场景。
(举报)