划重点:
⭐️ Idefics2相比前代模型,参数规模更小,只有80亿的十分之一,并改进了光学字符识别(OCR)功能。
⭐️ 这款模型具有更好的图像处理能力,支持最高分辨率达到980x980像素,并且无需调整图像比例。
站长之家(ChinaZ.com)4月16日 消息:Hugging Face 首次发布了其 Idefics 视觉语言模型,该模型于2023年首次亮相,采用了最初由 DeepMind 开发的技术。如今,Idefics 迎来了升级,新版本 Idefics2拥有更小的参数规模、开放许可证以及改进的光学字符识别(OCR)能力。目前,用户可以在 Hugging Face 平台上使用 Idefics2。
Idefics 的全称是 Image-aware Decorder Enhanced à la Flamingo with Interleaved Cross-attentionS,是一款通用的多模态模型,可以对文本和图像提示作出响应。与前身80亿参数规模的 Idefics 相比,Idefics2的规模缩小了十倍,仅有80亿,与 DeepSeek-VL 和 LLaVA-NeXT-Mistral-7B 相当。
除了核心功能外,Idefics2承诺提供更好的图像处理能力,支持高达980x980像素和原生长宽比的图像操作。图像无需调整大小以适应固定的正方形比例,这在传统的计算机视觉中是常见的操作。
通过整合从图像或文档中转录文本生成的数据,OCR 能力得到了增强。Hugging Face 团队还改进了 Idefics 对图表、图形和文档问题的回答能力。
,该模型的架构经过简化,摒弃了 Idefics1的门控交叉关注。Hugging Face 在一篇博客文章中指出:"图像被送入视觉编码器,然后经过学习的 Perceiver 池化和 [多层感知器] 模态投影。然后,将该池化序列与文本嵌入串联起来,以获取图像和文本的(交错的)序列。"
Hugging Face 使用了一系列公开可用的数据集,特别是 Mistral-7B-v0.1和 siglip-so400m-patch14-384,来训练 Idefics2。此外,还利用了网络文档、图像标题对、OCR 数据、渲染文本和图像到代码数据。
Idefics2的发布是 AI 繁荣持续推出的许多多模态模型之一,包括 Reka 的新 Core 模型、xAI 的 Grok-1.5V 和 Google 的 Imagen2。
产品入口:https://top.aibase.com/tool/idefics-80b
官方博客:https://huggingface.co/blog/idefics
(举报)