Институт искусственного интеллекта AIRI представил открытую версию модели OmniFusion
15:22 10.04.2024
Институт искусственного интеллекта AIRI представил открытую версию модели OmniFusion – OmniFusion 1.1. Технический репорт со статьей модели уже вышел на первое место в разделе Daily trending papers на HuggingFace.
Первая в России мультимодальная языковая модель, способная поддерживать визуальный диалог и отвечать на вопросы пользователей по картинкам, теперь поддерживает русский язык. Open-source-код для обучения и веса доступны к использованию и могут быть применены в том числе при разработке коммерческих продуктов.
OmniFusion — это передовая мультимодальная модель искусственного интеллекта, предназначенная для расширения возможностей традиционных систем обработки языка за счет интеграции дополнительных модальностей данных, например, изображений, а в перспективе – аудио, 3D- и видеоконтента.
Модель распознает и описывает изображения. С ее помощью можно объяснить, что изображено на фото, узнать рецепт для приготовления блюда по фотографии ингредиентов, проанализировать карту помещения или узнать, как собрать устройство по фото отдельных его частей. Модель также умеет распознавать текст и решать задачи. Например, с ее помощью можно решить логические задачи, написанный на доске математический пример или распознать формулу, а также получить их представления в формате LaTeX. Спектр возможностей широкий: уже сейчас модель может проанализировать медицинское изображение и указать на нем какую-то проблему. Разумеется, для того, чтобы подобная модель помогала ставить диагнозы, ее необходимо дополнительно обучать на профильных датасетах с привлечением экспертов из медицины.
В основе архитектуры модели лежит методика совмещения предварительно обученной большой языковой модели и ее «глаз» – визуальных энкодеров, которые позволяют кодировать информацию на изображении в числовой вектор, называемый эмбеддингом. Обучением OmniFusion занимается научная группа FusionBrain Института AIRI при участии ученых из Sber AI и SberDevices.
- 15:32 10.04.2024
- ПВО РФ за сутки сбила 172 украинских беспилотника, три авиабомбы Hammer
- 15:12 10.04.2024
- Американский контр-адмирал считает, что США вправе досматривать суда КНР в Тихом океане
- 15:00 10.04.2024
- Доллар и евро перестали быть основными валютами в российской внешней торговле — глава ЦБ
- 14:42 10.04.2024
- В России создается первая база научных публикаций по искусственному интеллекту
- 14:32 10.04.2024
- Минцифры предлагает приостанавливать оказание услуг связи абоненту, чьи счета арестованы
- 14:12 10.04.2024
- Немецкая промышленность вряд ли восстановится от энергетического кризиса — глава RWE
- 14:00 10.04.2024
- Пашинян заявил, что руководство Нагорного Карабаха хотело взять власть в Армении
- 13:55 10.04.2024
- Доля регионов с решениями Сбера в сфере искусственного интеллекта достигла 56%
- 13:50 10.04.2024
- Сбер открыл прием заявок в пятый сезон международного акселератора Sber500
- 13:45 10.04.2024
- На венчурной платформе SberUnity теперь можно синдицировать сделки