Компания Generalist представила свою последнюю разработку — модель GEN-1, которая поддерживает широкий спектр манипуляторов для роботов. GEN-1 совместима как с пятифingersыми руками, так и со специализированными инструментами, обладая новыми режимами активации. Обучая GEN-1 работать с этими новыми манипуляторами, Generalist демонстрирует, что одна базовая модель ИИ может осваивать сенсомоторные стратегии на роботах, которые могут применяться в различных способах взаимодействия с физическим миром.

Обучение на разнообразии манипуляторов

GEN-1 была предварительно обучена на внутреннем наборе данных Generalist, который охватывает более полумиллиона часов реальных взаимодействий с различными манипуляторами. Эти манипуляторы включают как новые форм-факторы с уникальными схемами активации и позициями камер, так и стандартные инструменты, модифицированные для работы с двухпальцевыми захватами — всего насчитывается около 9000 вариаций. Все они были выбраны для того, чтобы модель могла познакомиться с широким спектром физики контакта.

Физика взаимодействия

Каждый манипулятор представляет собой уникальный сенсомоторный интерфейс, через который GEN-1 познает физический мир. Это позволяет модели изучать геометрию, контакт, трение, силы и динамику. Масштабирование предварительного обучения на тысячи таких интерфейсов обучает GEN-1 универсальным сенсомоторным представлениям, которые могут быть применены к новым манипуляторам и новым способам захвата, толкания, тянущего и вращающего взаимодействия.

Разнообразие инструментов и их влияние

Каждый манипулятор можно рассматривать как отдельный язык для взаимодействия с миром. Например, электрическая отвертка вращается быстрее, чем это могут сделать пальцы, а управление диспенсером для ленты требует одновременного контроля натяжения и размещения. Тонкие инструменты, такие как венчики, требуют от модели восприятия их геометрии, что значительно влияет на процесс обучения. Generalist изучает, как каждый новый манипулятор изменяет предварительно обученную модель, расширяя набор данных и оценивая результаты на реальных задачах.

Адаптация к новым манипуляторам

Что происходит, когда в процессе выполнения задачи меняется манипулятор? Generalist провела эксперимент, в котором в процессе работы модели был физически заменен манипулятор, и модель продолжила выполнение задачи, адаптировавшись к новому инструменту. Это возможно благодаря тому, что обучение на смешанных данных заставляет модель адаптировать свое поведение в зависимости от текущего манипулятора. Модель не запоминает фиксированный набор стратегий манипуляции, а учится взаимодействовать с формами и контактными поверхностями.

Будущее робототехники

Природа не пришла к единственному решению для манипуляции физическим миром; она развилась в миллионы различных форм. Роботы, в отличие от людей, могут легко менять свои механические руки, что открывает новые горизонты для автоматизации. Обладая правильным интеллектом, роботы могут переключаться между манипуляторами и комбинировать режимы активации для выполнения задач, которые выходят за рамки человеческих возможностей.

Строительство общей физической интеллигенции

Если мы сможем создать общий интеллект, который понимает основные физические принципы взаимодействия, то форма манипулятора станет второстепенной по сравнению с интеллектом, который его управляет. Будущее робототехники не ограничится только пятифingersыми руками; это будет больше похоже на ящик с инструментами, в котором будет множество различных манипуляторов, адаптированных и масштабируемых для выполнения различных задач. Роботы всегда должны были расширять возможности человека, позволяя нам формировать физический мир в местах и масштабах, которые мы никогда не могли бы достичь.