Runway AI Inc. представила Praxis-1, свою новую модель действий в мире для робототехники, которая теперь доступна разработчикам с открытыми весами под лицензией Apache 2.0. Эта модель была анонсирована в сентябре, и среди её партнеров по запуску значатся Noble Machines, Standard Bots и Ultra. С момента анонса эти компании начали тестировать модель на своем оборудовании, включая гуманоидного робота на ногах, шестиосевой промышленный манипулятор и двухрукий складской робот.

Успехи Praxis-1 в обучении

По словам Энди Чена, руководителя робототехники в Runway, "сильная базовая модель имеет большое значение". Ранее, с использованием предыдущей модели, Noble Machines требовалось много времени на обучение для выполнения задачи по перемещению деревянных досок. В отличие от этого, Praxis-1, обладая большими вычислительными мощностями и данными, смогла освоить задачу за полчаса, успешно выполнив её 15 раз из 15. Когда модель столкнулась с беспорядочной кучей досок, она смогла очистить её шесть раз из десяти. "Итерация на основе отзывов партнеров делает наши модели лучше", — добавил Чен. В настоящее время Praxis-1 занимает первое место в рейтинге моделей действий на платформе NVIDIA RoboLab и является лучшей открытой моделью с конечной политикой.

Доступность и совместимость

Praxis-1 доступна на GitHub, Hugging Face с поддержкой LeRobot и в vLLM-Omni с хостингом вывода на Reactor. Runway заявила, что выпустила все необходимое для работы и адаптации модели на собственном оборудовании под лицензией Apache 2.0, включая веса, код вывода и дообучения, с поддержкой как полного дообучения, так и низкоранговой адаптации (LoRA). Модель работает на оборудовании NVIDIA, включая GPU для дата-центров, такие как H100 и B200, рабочие GPU, такие как RTX 5090 и RTX PRO 6000, а также на Jetson Thor непосредственно на роботе.

Архитектура и производительность

Praxis-1 представляет собой диффузионный трансформер с 27 миллиардами параметров, который предсказывает видео и действия одновременно. На платформе RoboLab-120 Praxis-1 достигла 46,2% успеха за 1200 эпизодов, что выше, чем у FLUX 3 Action (42,9%), Cosmos3 Nano (36,8%) и π0.5 (28,0%). Модель занимает пятое место в общем рейтинге. "Ключевым моментом является то, что модель, обученная предсказывать видео, действительно понимает много о физическом мире: как ведут себя объекты, как движутся руки и как выглядит задача в процессе выполнения", — отметил Чен. Praxis-1 построена на базе модели видео от Runway и учится, как работает мир, прежде чем начинает действовать.

Адаптация к различным роботам

Praxis-1 обучается на больших объемах видео, что позволяет ей заранее понимать, как ведут себя объекты и как развиваются задачи, прежде чем она будет дообучена на конкретном оборудовании или данных. Исследования компании показали, что веб-видео сопоставимо с видео, полученным от телеоператоров роботов, в качестве данных для предварительного обучения, что смещает узкое место на производительность политики к тому, сколько общего видео модель может изучить. Задачи варьируются в зависимости от типа робота. Например, Noble Machines разрабатывает гуманоидов для тяжелых промышленных работ, и с помощью Praxis-1 они могут поднимать деревянные доски и помещать их в контейнеры. Standard Bots создает шестиосевые манипуляторы для работы на фабриках, а Ultra разрабатывает и внедряет двухрукие станции для упаковки заказов на складах. Несмотря на различия в конструкции, одна и та же модель управляет всеми тремя типами роботов. "С нашими партнерами одна контрольная точка Praxis-1 адаптировалась к различным воплощениям с легким дообучением, и с помощью LoRA вы можете адаптировать её к своим собственным устройствам, камерам и задачам без полной переобучения модели", — добавил Чен. Например, дообученная на роботе RT-1 от Google, который не был включен в данные обучения, Praxis-1 достигла 80,0% успеха на SimplerEnv, что значительно выше, чем у оригинальной политики RT-1 (52,4%).

Открытость и будущее Praxis-1

Runway с самого начала была привержена идее выпуска Praxis-1 как модели с открытыми весами. Открытые веса предоставляют разработчикам оборудования гибкость в запуске, инспекции и адаптации модели действий в мире на своих условиях. "Мы считаем, что лидерство США в области физического ИИ имеет критическое значение", — утверждает Чен. "Восстановление нашего глобального лидерства в производстве, ускорение производительности в экономике и обеспечение безопасности для нас и наших союзников будет зависеть от этого". "Для достижения этой цели потребуется значительное увеличение инвестиций как в оборудование, так и в программное обеспечение, но также потребуется уровень совместимости и открытости от американских моделей, который в настоящее время не существует для физических случаев использования", — добавил он. "Мы рассматриваем открытые мировые модели как нарастающее преимущество, которое дает разработчикам оборудования гибкость и контроль, которых у них сейчас нет". После того как Praxis-1 была доступна разработчикам, Runway сосредоточится на масштабировании развертываний. "Мы хотим, чтобы Praxis-1 работала в реальном мире: на складах, фабриках и промышленных объектах, выполняя реальные задачи", — заключил Чен. "Мы верим, что граница робототехники будет открыта через реальные приложения, а не в лаборатории. Поэтому следующим шагом станет развертывание с нашими партнерами, изучение того, с чем сталкивается модель в реальном мире, и внедрение этих уроков обратно в модель."