Компания «Яндекс» обновила мобильное приложение «Алиса AI», добавив функцию для помощи людям с нарушениями зрения. Адаптированный Live-режим позволяет в реальном времени получать информацию об окружающем мире через камеру смартфона. Об этом сообщила пресс-служба компании.

Новая функция призвана помочь незрячим и слабовидящим пользователям в повседневной жизни. Наведя камеру на объект, человек может голосом задать вопрос и получить ответ от нейросети. Например, можно узнать, с какой стороны находится вход в магазин, что написано на дисплее бытовой техники или какие продукты лежат в холодильнике.

В основе технологии лежит мультимодальная нейросеть Alice AI VLM, которая распознает объекты и описывает их. Диалог с «Алисой AI» происходит в голосовом формате, а история запросов сохраняется в чате.

Функция доступна бесплатно на устройствах Android и iOS. Включить Live-режим можно в меню приложения или голосовой командой. Активировать режим голосом пока могут только пользователи Android, в «Яндексе» обещают добавить эту возможность и для iOS-устройств в ближайшее время.

Обновление было представлено на фестивале Young Con в Москве.

«Эта технология является инструментом для самостоятельной ориентации в пространстве и решения бытовых задач без посторонней помощи», — заявил менеджер по цифровой доступности «Яндекса» Анатолий Попко.

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе всех новостей и событий Рунета.