Компания Runway AI Inc. на этой неделе анонсировала Praxis-1 — модель общего действия, которая использует видео-преподготовку для управления роботами. Эта новинка основана на масштабной видео-преподготовке, которая легла в основу общих мировых моделей Runway. По словам Камила Синди, технического директора компании, большинство политик роботов ограничены недостатком данных, которые сложно и дорого собирать. Praxis-1 учится в основном на третьих лицах, что позволяет ему уже понимать, как ведут себя объекты и как развиваются задачи.

Основные особенности Praxis-1

Runway утверждает, что производительность модели улучшается с увеличением объема видео, что означает, что ее потенциал зависит от объема обучающих данных, а не от количества демонстраций роботов. Это открывает новые горизонты для обучения роботов, так как видео данных в мире гораздо больше, чем реальных данных, собранных в лабораториях.

Обширное использование видео: Каждый день пользователи загружают больше видео о повседневной жизни, чем может собрать любая лаборатория.

Высокая корреляция: Симуляция политик роботов внутри модели мира предсказывает реальные результаты с корреляцией 0.95, что значительно лучше, чем более дорогие методы, основанные на 3D-реконструкции.

Применение в робототехнике

Praxis-1 был обучен на различных задачах манипуляции, от простых действий, таких как подъем банок, до более сложных, связанных с деформируемыми объектами, например, упаковка подарков. Runway уже тестирует Praxis-1 с ранними партнерами, такими как Noble Machines, Standard Bots и Ultra, которые используют модель на своем оборудовании. Это позволяет выявить и устранить недостатки перед публичным запуском.

Открытые веса и будущее

При публичном запуске Runway планирует предоставить Praxis-1 с открытыми весами, а не как закрытую модель. Синди подчеркивает, что открытые модели критически важны для восстановления лидерства США в области физического ИИ и производства. Открытые веса предоставляют разработчикам оборудования гибкость и контроль, которых у них нет в настоящее время.

Заключение

Runway продолжает тестировать и оценивать Praxis-1 с партнерами, планируя привлечь больше участников до полного запуска. Модель, которая уже понимает физическую правдоподобность и поведение объектов благодаря видео-преподготовке, имеет значительное преимущество по сравнению с моделями, обученными только на данных действий.