Сбер представил Kandinsky WM 1.0: новые возможности для обучения роботов и беспилотников
Компания Сбер опубликовала в открытом доступе свои новейшие разработки — три специализированные модели Kandinsky WM 1.0. Эти нейросети представляют собой «модели мира» (World Models), которые способны достраивать видеоряд на пять секунд вперед, исходя из одного первого кадра и текстового описания на английском языке. Главная особенность технологии заключается в способности удерживать физику сцены: объекты не просто меняют картинку, а сохраняют свою форму и движутся согласно законам физики.
Разработка представляет большой интерес для разработчиков беспилотного транспорта и робототехники. Использование синтетических данных позволяет моделировать редкие и опасные ситуации, которые крайне сложно или невозможно воспроизвести в реальных условиях.
Зачем индустрии нужны синтетические сценарии
Обучение автономных систем сталкивается с серьезным дефицитом данных. Для качественного функционирования беспилотного автомобиля необходимы примеры критических ситуаций: внезапные маневры соседних машин, появление пешеходов в неположенных местах или аварии на перекрестках. Однако в реальных записях таких событий ничтожно мало: даже при круглосуточной съемке на дорогах большая часть видео — это скучное движение в потоке и стояние на светофорах.
В сфере робототехники проблема стоит еще острее. Для записи каждого реального сценария требуется живой робот, оператор и набор датчиков. Кроме того, некоторые опасные ситуации физически небезопасно воспроизводить в лаборатории. Синтетическая генерация видео способна закрыть этот пробел, если нейросеть способна создавать правдоподобные кадры без накопления собственных ошибок.
Три специализированные модели для разных задач
Вместо одной универсальной системы Сбер обучил три отдельные версии Kandinsky, каждая из которых специализируется на своем домене:
- K5-AV: оптимизирована для автомобильных сцен на базе 1,5 млн роликов.
- K5-RO: предназначена для робототехники. Это самая масштабная выборка, включающая 2,2 млн видео с бытовыми задачами (складывание одежды, работа с мелкими деталями и т.д.).
- K5-PH: модель для моделирования сложной физики, включая деформацию материалов, разрушения, движение жидкости и людей. В её создании участвовали асессоры, вручную отбирающие качественные фрагменты.
Методы обучения и результаты тестов
Для достижения высокой точности физического взаимодействия использовались разные подходы. В задачах для автомобилей и роботов применялось обучение с подкреплением: специальная модель-оценщик сравнивала сгенерированное видео с реальным, анализируя глубину сцены и характер движения. Для модели сложной физики (K5-PH) применялся иной метод — обучение через возвращение к правильной траектории после намеренного отклонения.
Согласно внутренним тестам команды Сбера, модели продемонстрировали высокие результаты на специализированных бенчмарках для Physical AI:
- 4-е место на PAI-Bench-G;
- 5-е место на Physics-IQ Verified;
- 6-е место на RBench.
При сравнении с моделью NVIDIA Cosmos-Predict2.5-2B аналогичного масштаба, Kandinsky показала превосходство на 2–5 процентных пунктов в зависимости от типа сцены.
Открытый доступ и перспективы развития
Все веса и код Kandinsky WM 1.0 опубликованы под свободной лицензией MIT. Это означает, что разработчики могут использовать их в коммерческих проектах, дообучать и встраивать в свои продукты. Модель объемом в 2 миллиарда параметров достаточно компактна, чтобы работать без использования гигантских серверных ферм. В настоящее время технологию уже тестируют Центр робототехники Сбера и институт AIRI.
На текущем этапе Kandinsky WM 1.0 выступает в роли высококачественного рендерера, создающего визуальное наблюдение. Следующим этапом развития станет создание интерактивной среды, которая сможет не просто рисовать, но и реагировать на команды пользователя, позволяя проверять различные варианты развития событий в цифровом мире.
Вывод
Выпуск Kandinsky WM 1.0 — это значимый шаг в развитии генеративного ИИ для индустриальных нужд. Объединение высокой точности физики и открытого доступа через лицензию MIT открывает новые возможности для создания безопасных систем автономного вождения и продвинутой робототехники.