NVIDIA представила GR00T 2 для ловких манипуляций роботов
На конференции CoRL в Остине NVIDIA представила GR00T 2 — открытую world action model, предсказывающую, как действия робота изменят окружение. Модель обучена на смешанных данных роботов и людей, включая 100 000 часов эгоцентрических записей от первого лица. Вместе с моделью компания обновила среду симуляции Isaac Lab до версии 3.0, которая теснее интегрирована с открытым физическим движком Newton. Все разработки публикуются в открытом доступе: добавлены бенчмарки DexBench и VABAR, фреймворк Isaac Lab-Arena для оценки политик и инструменты для последовательного запуска навыков с восстановлением после ошибок.
Архитектура и обучение GR00T 2
GR00T 2 построена на базе платформы Cosmos. Ключевая особенность — использование массива из 100 000 часов открытых эгоцентрических записей NVIDIA, что позволяет модели лучше понимать пространственные отношения и динамику взаимодействия с объектами. Компания позиционирует модель как решение для ловких манипуляций, требующих точного координирования движений и адаптации к деформируемым объектам.
Результаты тестирования и бенчмарки GR00T 2
По данным NVIDIA, GR00T 2 без демонстраций под конкретную задачу выполнила 40 из 50 тестовых заданий хотя бы один раз. С одной демонстрацией средняя успешность составила 71%, а с пятью — 95%. Разработчик относит модель к топ-3 во всех категориях vision language action и world action model на тестах RoboCasa365, RoboLab, RoboDojo и MolmoSpaces, сообщая о победах в нескольких лидербордах. Внешнего независимого подтверждения этих результатов в анонсе не приводится.
Практический кейс: замена кабелей манипулятором YAM
Компания MicroAGI применяет GR00T 2 для автоматизации замены Ethernet-кабелей манипулятором YAM. Задача осложняется тем, что кабель гнётся и цепляется за соседние компоненты. Политику дообучали методом обучения с подкреплением по награде за удачное действие. Сцены для тренировки готовят ИИ-агенты в Isaac Lab 3.0 и Newton, где же происходит и обучение политики. Поддержка деформируемых объектов в симуляторе стала возможна благодаря более тесной интеграции с Newton.
Обновление Isaac Lab 3.0 и интеграция с движком Newton
Isaac Lab 3.0 даёт агентам возможность быстро собирать среды обучения из готовых ассетов. В симуляторе появилось переключение между физическими движками NVIDIA PhysX и Newton, выбор рендерера для обучения на изображениях и новая библиотека дообучения с подкреплением для фундаментальных моделей вроде GR00T. В тесте на ловкую манипуляцию по изображению связка Isaac Lab 3.0 с Newton показала до 2,5 раза более высокую скорость обучения по сравнению с Isaac Lab 2.3 на PhysX. Интеграция с Newton также позволяет моделировать сложные шарнирные системы, например роботизированные руки с множеством взаимодействующих суставов.
Результаты на стенде NIST Assembly Task Board
На базе Isaac Lab построен проект AlphaNIST. Одна политика освоила все 20 задач на эталонном стенде сборки NIST Assembly Task Board с деталями миллиметрового масштаба. Сигнал обучения состоял только из бинарной обратной связи («да»/«нет»). Успешность превысила 98% против 81% у отдельных политик под каждую задачу, при этом GPU-времени ушло примерно в 39 раз меньше.
Практическое применение GR00T 2 у партнёров NVIDIA
Несколько крупных компаний уже оценивают GR00T 2 в реальных сценариях: Nexuni проверяет модель на роботизированной обработке белья, Foxconn — для автоматизации производства серверов, Siemens — в промышленных сценариях. NVIDIA не раскрывает сроки внедрения и число задействованных роботов.
Вопросы и ответы
Что такое GR00T 2 и чем она отличается от предыдущих версий?
GR00T 2 — это открытая world action model на базе Cosmos, предсказывающая изменение окружения от действий робота. Ключевое отличие — обучение на 100 000 часов эгоцентрических записей и фокус на ловких манипуляциях с деформируемыми объектами.
Какие результаты показала модель в тестах без демонстраций?
По данным NVIDIA, GR00T 2 выполнила 40 из 50 тестовых задач хотя бы один раз без предварительных демонстраций. С одной демонстрацией успешность выросла до 71%, с пятью — до 95%.
Какие преимущества даёт интеграция Isaac Lab 3.0 с движком Newton?
Связка ускорила обучение на ловких манипуляциях в 2,5 раза по сравнению с Isaac Lab 2.3 на PhysX, а также добавила поддержку деформируемых объектов (кабели, ткани) и сложных шарнирных систем.