Летние месяцы — это время не только для отдыха, но и для создания воспоминаний. В мире робототехники это означает генерацию огромного объема данных. В июне прошлого года я ознакомился с исследовательской работой под названием "Универсальный интерфейс манипуляции: Обучение роботам в реальных условиях без роботов" (UMI). Эти академические находки стали основой для стартапа Generalist, оцененного в 2 миллиарда долларов. Команды Toyota Research Institute (TRI), Колумбийского университета и Стэнфордского университета разработали платформу для сбора данных, использующую управляемые людьми манипуляторы, с камерами GoPro, фиксирующими выполнение реальных задач, таких как мытье посуды и подъем предметов. Полученные демонстрации стали тренировочными данными для моделей роботов, позволяя коллаборативным роботам (cobots) быстрее осваивать эти задачи.

Быстрое создание политик для коллаборативных роботов

На выставке Automate в этом июне Generalist продемонстрировала, как их модели могут быстро создавать политики для различных систем cobot. С одной стороны зала компания показала, как манипуляторы Universal Robots (UR) могут складывать и собирать картонные коробки, а с другой стороны — как Flexiv arms ремонтируют роботизированные пылесосы. В посте на X, посвященном выставке, компания отметила, что наиболее впечатляющим было не только выполнение задач, но и способность моделей восстанавливаться в реальном времени, когда что-то шло не так, что изменило представление о автоматизации.

Разнообразие манипуляторов и их применение

Почти через месяц после выставки Generalist опубликовала блог под названием "К машинам с тысячей рук". Я провела интервью с Самантой Кастельянос, основным механическим инженером компании, чтобы понять, как их исследования переводятся в промышленные реализации и как это ускоряет внедрение технологий. Кастельянос поделилась философией Generalist: "Наша главная цель — создать лучшую модель в мире. В конечном итоге именно наша модель станет тем барьером, который отличит нас от других".

Улучшение моделей через данные и инструменты

"Все, что мы делаем, направлено на улучшение модели", — продолжила она. "Сбор данных, различные типы инструментов и взаимодействие с миром — все это невероятно важно. Мы стремимся создать настоящую общую интеллигенцию, предоставляя модели все необходимые знания о том, как устроен мир, и это, я думаю, выделит нас на фоне конкурентов". Кастельянос отметила, что подход Generalist к сбору данных является их отличительной чертой. "С точки зрения аппаратного обеспечения, наш захват — это захват с одной степенью свободы, что очень отличается от того, с чем начали другие компании. Простота дизайна делает его более надежным".

Переход от сбора данных к работающему роботу

Впечатляет, как быстро Generalist переходит от сбора данных к созданию работающего роботизированного манипулятора. "Все данные для демонстрации с тысячей рук были собраны в нашем офисе в Бостоне и частично в Калифорнии. Мы собрали от двух до восьмидесяти часов данных для различных задач", — рассказала Кастельянос. Процесс включает в себя сбор данных от человека, который затем используется для обучения моделей роботов. "Обычно это занимает минуты, не более восьмидесяти, но иногда всего четыре", — добавила она.

Интеграция в промышленность и уникальные особенности

Когда я спросила, как Generalist планирует внедрять свои модели в промышленность, Кастельянос ответила, что у них много различных клиентов. "Некоторые хотят комплексное решение, где мы предоставляем все: модель и оборудование. Другие уже имеют UR-манипуляторы и могут использовать нашу модель на своих системах". Она подчеркнула, что одна из главных отличительных черт Generalist — это быстрая перекалибровка модели, когда что-то идет не так. "Модель учится восстанавливаться, когда что-то падает, и это уже заложено в ее алгоритмы".

Будущее мобильной манипуляции и гуманоидов

Смотрим в будущее, Кастельянос отметила, что пока они не работали с гуманоидными роботами, но это вполне возможно. "Мы уже имеем компьютер, который управляет всеми нашими моделями. Если мы сможем интегрировать это с мобильной платформой, это будет осуществимо". Интересно, что соавторы UMI, Расс Тедрэйк и Бен Бёрчфил, основали Walden Robotics, которая применяет большие модели поведения к мобильным манипуляторам в реальных промышленных условиях. Кастельянос выразила надежду, что их модели смогут выполнять задачи с минимальным количеством данных и восстанавливаться от неожиданных ситуаций, что может произойти быстрее, чем мы думаем.