Live‑режим в приложении Яндекс Алиса AI: помощь незрячим и слабовидящим

Яндекс внедрил в приложение «Алиса AI» функцию Live‑режим, цель которой – облегчить жизнь людям с ограниченным зрением. Благодаря мультимодальной нейросети Yandex Alice VLM, пользователь может получать голосовые описания того, что находится в кадре камеры смартфона, и задавать уточняющие вопросы в режиме реального времени.

Основные сценарии использования включают:

• Определение расположения входа в магазин, указателей или других ориентиров на улице.
• Чтение текста с экранов бытовой техники, вывесок, этикеток и сообщений.
• Проверка состояния посылки, наличие повреждений или целостность упаковки.
• Идентификация лекарств, косметики и продуктов питания, лежащих на столе или в холодильнике.
• Получение рекомендаций по блюдам на основе содержимого холодильника.

Чтобы активировать Live‑режим, достаточно открыть приложение «Алиса AI», выбрать соответствующий пункт в меню или произнести фразу «Алиса, запусти Live‑режим». После этого пользователь направляет камеру на интересующий объект и задаёт вопрос голосом. Алгоритм распознаёт визуальные данные, формирует ответ и озвучивает его. При необходимости пользователь может уточнить детали, а весь диалог сохраняется в чате для последующего просмотра.

Технология работает на устройствах под управлением Android и iOS. На текущий момент голосовое управление доступно только пользователям Android, но команда Яндекса планирует расширить эту возможность и на iOS в ближайшие недели.

Live‑режим предоставляется бесплатно и не требует отдельной подписки. Это часть стратегии Яндекса по повышению доступности своих сервисов и создания инклюзивных решений для всех групп населения.

Источник: пресс‑релиз Яндекса.