«Алиса» поможет незрячим «рассмотреть» изображения в интернете
Функции браузера «Яндекса» на основе нейросети были существенно расширены: теперь «Алиса» может подробно описывать предметы на картинках, анализировать их расположение и цвета. Новые возможности ИИ-ассистента помогут незрячим и слабовидящим пользователям ориентироваться в Сети и с легкостью воспринимать любой визуальный контент – от иллюстраций и картин до товаров, представленных на маркетплейсах.
Понимает, что нарисовано
Нейросеть «Алиса» вышла на новый уровень: она анализирует, что именно изображено на картинках в интернете и может составлять их описания. ИИ-помощник сообщает пользователю, что представлено на рисунке или фото, а по его желанию может охарактеризовать предметы и явления более подробно. Так, она может познакомиться с фотографией платья на маркетплейсе, описать его цвет, крой и посадку.
Фундаментом нового функционала стала мультимодальная модель, которая умеет анализировать тексты и картинки. При этом она работает с целым изображением, а не только распознает отдельные объекты. Особенно ценно то, что цифровое решение учитывает контекст и связи, существующие между элементами. Благодаря этому можно создать лаконичные и осмысленные описания, что позволяет незрячим людям получить достоверное представление об изображении.
Принципы доступности в деле
Устроена эта система просто: для получения характеристики предмета нужно выбрать опцию «Описать картинку» в контекстном меню или на панели поверх картинки или же навести на изображение фокус программы экранного доступа.
В «Яндекс Браузере» для Windows, iOS и Android ИИ-помощник готов не только составить, но и озвучить описание. Функцией можно управлять в настройках браузера, в разделе «Специальные возможности». При условии включения программы экранного доступа «Алиса» сделает описания только для тех картинок, на которые пользователь нацелит фокус.
Как отмечают создатели цифрового решения, главное – придерживаться принципов доступности, чтобы интернет был комфортным и интересным местом для всех, в том числе людей с ограниченными возможностями здоровья. Так, «Яндекс Браузер» обеспечен и другими инструментами для людей с особенностями зрения: режим чтения убирает лишнее с экрана, помогая сконцентрироваться на тексте, а с помощью «Умной камеры» незрячие и слабовидящие пользователи могут распознавать печатные тексты и предметы.
По подсчётам специалистов, каждый месяц «Яндекс Браузер» используется более чем на 90 миллионах устройств.
Новый импульс для развития удобных для всех интерфейсов
Цифровое решение российских разработчиков из «Яндекса» повышает удобство и доступность визуальной информации, что особенно значимо для слабовидящих пользователей или тех, кто пользуется голосовым интерфейсом.
Создание этого IT-продукта – эффектная демонстрация того, что информационные технологии в России развиваются стремительно, а компании представляют публике все больше гибридных разработок, сочетающих компьютерное зрение и языковые модели. В ближайшем будущем «Алиса» может нарастить новые функции: возможна ее интеграция с другими сервисами компании «Яндекс», а также технологическое совершенствование - например, распознавание конкретных объектов и их описаний может плавно расшириться до генерации метаданных изображения.
Русскоязычная разработка мультимодального ассистента может быть востребована в тех сферах деятельности на территории СНГ или стран Глобального Юга, где используются технологии «объяснение изображения» - в электронной коммерции, медиа. Для выхода на экспорт разработчик ПО может выпустить API-решение, которое может работать как посредник между сервисами, а также SDK для партнёрских сервисов —набор инструментов и кода, который позволяет взаимодействовать с партнёрскими платформами.
