В последние годы технологии робототехники стремительно развиваются, и одним из ярких примеров этого прогресса является новый мир действия модель (World Action Model) под названием Liber-0, представленная стартапом LiberAI из Пекина. Эта модель была предварительно обучена на более чем 2,2 миллиона часов человеческого опыта и предназначена для поддержки нулевого обучения (zero-shot) в манипуляции роботами.

Преимущества нулевого обучения

Одним из ключевых аспектов работы Liber-0 является его способность выполнять задачи без необходимости в демонстрациях робота, собранных специально для этих целей. В ходе оценки модели на 60 задачах, предложенных GPT-6, Liber-0 достиг общего успеха в 36%. Эти задачи включали 20 задач по перемещению объектов (pick-and-place), 20 задач по манипуляции, не относящимся к перемещению объектов, и 20 сложных задач, требующих многократных действий.

Результаты тестирования

LiberAI сообщила о следующих показателях успеха:

Перемещение объектов: 63,5%

Другие манипуляции: 34,0%

Сложные многопроцессные задачи: 10,5%

Эти результаты были получены в ходе 600 испытаний, что подчеркивает способность модели обобщать опыт, полученный из человеческих видео и записей движений, зафиксированных с помощью специальных перчаток.

Как работает Liber-0

Liber-0 использует три основных подхода для передачи человеческого опыта роботам: 1. Запись движений с помощью перчатки LiberSense: Эта система напрямую фиксирует движения рук, что помогает связать видео с реальными движениями. 2. Платформа робота: Использует камеры и движения рук, запястий и талии, которые ближе к человеческим, что облегчает передачу навыков. 3. Унифицированное представление тела: Модель получает информацию о форме тела и движении суставов, что позволяет адаптировать действия к конкретному исполнителю.

Преимущества обучения на человеческом опыте

Традиционно манипуляция роботами основывалась на демонстрациях, записанных для конкретного робота и задачи. Такой подход требует много времени и ресурсов, особенно когда речь идет о новых задачах или платформах. В отличие от этого, человеческая активность гораздо более обширна и доступна в виде видео. Однако, как отмечает LiberAI, человеческое видео не может быть напрямую переведено в команды для роботов из-за различий в позах и движениях.

Эффективность использования данных с перчатки

В одном из экспериментов, где использовались данные с перчатки, было установлено, что добавление записей действий, которые отсутствовали в данных робота, значительно повышает эффективность. Например, прогресс в задачах, не относящихся к перемещению объектов, увеличился с 2,2 до 47,5 при добавлении данных с перчатки. Это подчеркивает важность использования разнообразных источников данных для обучения.

Снижение потребности в демонстрациях робота

В другом эксперименте было показано, что использование данных с перчатки может сократить потребность в демонстрациях робота. Политика, обученная на 25% данных робота и 100% данных с перчатки, достигла прогресса в 75,6, что сопоставимо с результатами, полученными при использовании 100% данных робота.

Будущее LiberAI

Несмотря на достижения, команда LiberAI отмечает, что текущая версия перчатки LiberSense не фиксирует контакт или силу, что важно для выполнения задач, таких как вставка или работа с мягкими материалами. В будущем компания планирует расширить свои исследования в области тактильного и силового сенсинга, а также собирать данные в более широком диапазоне домашних условий.

Заключение

Liber-0 представляет собой значительный шаг вперед в области робототехники, позволяя роботам обучаться на основе человеческого опыта и выполнять сложные задачи без необходимости в специализированных демонстрациях. Эта модель открывает новые горизонты для применения робототехники в различных сферах, от домашнего использования до промышленных решений.