NVIDIA Corporation на конференции по обучению робототехники (CoRL) в Остине, штат Техас, представила обновленную модель открытого фронтирного мира GR00T 2 и последнюю версию своей открытой платформы для обучения роботов Isaac Lab 3.0. Эти новшества призваны улучшить возможности разработки и обучения робототехнических систем, предоставляя разработчикам мощные инструменты для создания и тестирования своих решений.

GR00T 2: Новая эра в обучении роботов

GR00T 2 был обучен на разнообразных данных, включая 100,000 часов открытых эгоцентрических данных от NVIDIA. Модель нацелена на развитие навыков ловкой манипуляции у роботов. Основные характеристики GR00T 2 включают:

Производительность из коробки: модель успешно выполнила 40 из 50 оцененных задач хотя бы один раз без демонстраций, специфичных для задач.

Перенос навыков: GR00T 2 обучается на демонстрациях человека и может переносить навыки между различными роботами без дополнительных демонстраций.

Обобщение с небольшим количеством данных: модель достигла 71% среднего успеха по 50 задачам с одной демонстрацией на задачу, увеличиваясь до 95% с пятью демонстрациями.

Контроль агентов: AI-агенты могут использовать API GR00T 2 и сопутствующие инструменты для последовательного выполнения навыков и восстановления после ошибок.

На данный момент GR00T 2 занимает одно из трех ведущих мест среди всех моделей в категориях визуально-языковых действий и моделей действий в мире, согласно данным нескольких бенчмарков, таких как RoboCasa365 и RoboLab.

Isaac Lab 3.0: Упрощение симуляции и обучения

Последняя версия Isaac Lab 3.0 позволяет исследователям быстро настраивать учебные среды с готовыми к симуляции активами. Среди новых возможностей:

Смена физических решателей: пользователи могут переключаться между NVIDIA PhysX и Newton, что позволяет моделировать деформируемые объекты, такие как кабели и ткани.

Параллельное обучение: Isaac Lab и Newton позволяют тренировать тысячи симулированных роботов одновременно, что значительно увеличивает скорость обучения.

В тестах на манипуляцию с использованием визуальных данных Isaac Lab 3.0 с Newton достигла увеличения производительности до 2.5 раз по сравнению с предыдущей версией.

Новые бенчмарки и инструменты для оценки

NVIDIA также представила Isaac Lab-Arena — открытую платформу для масштабированных оценок политик. Она позволяет разработчикам создавать разнообразные и повторяемые оценки, запускать политики в тысячах вариаций и анализировать причины неудач. В рамках CoRL была представлена предварительная версия 0.4, а также два новых бенчмарка: DexBench и VABAR.

DexBench: разработанный в сотрудничестве с RLWRLD, этот бенчмарк включает 15 задач в четырех сценах, охватывающих такие области, как розничная торговля и логистика.

VABAR: предназначенный для оценки роботов по шести промышленным задачам, этот бенчмарк включает стандартизированные вариации и метрики успеха.

Применение технологий NVIDIA в робототехнике

Разработчики уже активно используют новые технологии NVIDIA. Например, Skild AI анонсировала новый решатель физики STEEL, который ускоряет обучение роботов с использованием Isaac Lab. Flexion продемонстрировала, как Isaac Lab и Newton помогают в обучении их модели робототехники Reflect. Другие компании, такие как FieldAI и Dyna Robotics, используют Isaac Lab для обучения и проверки политик роботов в сложных реальных условиях. Walden Robotics применяет фотореалистичное рендеринг в Isaac Sim для обучения своих роботов в виртуальных средах.

Заключение

С выходом GR00T 2 и Isaac Lab 3.0 NVIDIA делает значительный шаг вперед в области робототехники, предоставляя разработчикам мощные инструменты для создания и обучения роботов. Эти технологии открывают новые возможности для применения в различных отраслях, от автоматизации производств до логистики и обслуживания клиентов.