WorldOracle представляет собой новый бенчмарк для оценки моделей мира, которые учитывают действия (ACWMs). Он позволяет сравнивать предсказания моделей с реальными действиями, начиная с одинаковых начальных наблюдений и следуя одной и той же последовательности действий. Открытие платформы для разработчиков состоялось 16 октября, и она принимает как открытые, так и закрытые модели.

Оценка моделей

В рамках исследования были протестированы семь репрезентативных моделей, среди которых DreamDojo, Cosmos 3, IRASim и GE-Sim 2.0. Результаты показали, что хотя движения роботизированных рук предсказываются достаточно точно, позиции и движения объектов часто отклоняются от реальности. Более того, производительность моделей значительно снижается при оценке полных последовательностей операций. В одном из примеров, представленных WorldOracle, робот не смог захватить фрукт, однако модель предсказала успешное выполнение этого действия. Это подчеркивает важность точности предсказаний, так как успех, отображаемый на экране, не всегда соответствует действительности.

Проблемы предсказаний

Исследовательская команда выявила две основные проблемы. Во-первых, даже если движение руки робота соответствует заданной последовательности, положение и движение объекта могут быть неверными. Например, IRASim получил 78.8 баллов за предсказание движения руки, но только 29.1 за предсказание движения объекта. Cosmos 3 показал аналогичные результаты: 89.4 и 45.4 соответственно. Во-вторых, точность предсказаний снижается с увеличением временного горизонта. Для оценки моделей WorldOracle использует как первые 30 секунд траектории, так и полные последовательности операций. Например, DreamDojo снизил свой балл с 50.56 до 27.08, а Cosmos 3 — с 53.99 до 26.60.

Что может измерять WorldOracle?

WorldOracle использует заранее собранные записи реальных манипуляций. Модель получает начальный кадр и последовательность действий, генерирует предсказанное видео, которое затем сравнивается с реальным выполнением тех же действий. Важно, что если операция не удалась в реальности, то правильное предсказание этой неудачи также учитывается как успешное предсказание. Бенчмарк охватывает два типа роботов: AgiBot G2 и YAM, а также манипуляции человеческой рукой. Четыре задачи (сбор фруктов, развешивание полотенец, наливание воды и открывание ящиков) включают взаимодействие с жесткими, деформируемыми, жидкими и артикулированными объектами.

Метрики оценки

WorldOracle применяет четыре дополнительных метрики для проверки предсказаний:

Точность физического состояния: проверяет, соответствуют ли позиции объектов и состояния захвата реальным результатам.

Пространственное соответствие взаимодействия: оценивает, насколько позиции и пути движения объектов, рук робота или человеческой руки совпадают с реальным процессом.

Точность ключевых областей взаимодействия: фокусируется на областях, таких как объект и захват, комбинируя пиксельные, перцептивные и семантические сходства.

Согласованность действий с нескольких ракурсов: для моделей, поддерживающих многослойный вывод, проверяет, насколько движение робота согласуется с реальным выполнением.

Участие разработчиков

WorldOracle поддерживает как открытые, так и закрытые модели. После регистрации разработчики выбирают трек в зависимости от поддерживаемого типа манипуляции, генерируют и загружают предсказанные видео, а затем могут видеть свои оценки и сравнения. Это позволяет разработчикам получать конкретную обратную связь для улучшения своих моделей. WorldOracle предоставляет единый набор задач, данных и методов оценки, что дает разработчикам возможность сравнивать модели, выявлять ошибки и проверять улучшения.