В последние годы искусственный интеллект (ИИ) совершил значительный шаг вперед благодаря большим языковым моделям, которые предоставили работающий рецепт для их разработки. Однако в области робототехники такой универсальный подход отсутствует. Системы робототехники традиционно состоят из отдельных компонентов восприятия, планирования и управления, которые редко объединяются в единую интеллектуальную систему, способную переносить знания с одной задачи на другую или с одной машины на другую. Основная проблема в области воплощенного ИИ заключается в поиске эквивалентного рецепта, и в настоящее время в этой области нет единого мнения о том, что это должно быть.

Подход X Square Robot

Китайская компания X Square Robot сделала смелую ставку, утверждая, что решение заключается в интегрированном стеке, охватывающем данные, которые робот изучает, модель мира для прогнозирования изменений в физическом мире и модель действий, которая объединяет восприятие, планирование, рассуждение и принятие решений для генерации исполняемого поведения робота. Компания также считает, что этот стек должен быть построен и представлен в открытом доступе, что подчеркивает ее стремление сделать роботов доступными для реальных домашних условий.

Принципы работы стека

Основу стека составляют несколько принципов, а не одна общая модель:

Взаимодействие как базовая единица данных: Успех демонстрации определяется тем, изменяет ли она мир так, как задумано, а не просто движением суставов.

Предварительное обучение: Оно должно давать полезные возможности, а не служить лишь начальной точкой для последующей донастройки.

Моделирование поведения: Оно должно основываться на физических событиях, а не на фиксированных временных интервалах.

Эти принципы делают слои взаимозависимыми, поскольку одни и те же данные, свободные от роботов, которые обучают модель действий, также структурированы для подачи в модель мира. Важно отметить, что компания описывает модель мира и модель действий как взаимодополняющие, но независимые семейства моделей, которые используют общую кодовую базу. Обе модели входят в более широкую архитектуру World Unified Model, представленную как архитектура для совместного обучения зрения, языка, действий и физического прогнозирования.

Система сбора данных UMI

Одним из основных ограничений для универсальных роботов является не количество параметров, а стоимость и качество данных взаимодействия. Для решения этой проблемы команда X Square Robot разработала систему сбора данных Universal Manipulation Interface (UMI) в рамках серии QUANXTA Zero. Она работает путем сбора демонстраций от людей, использующих специальный комплект с двойными захватами, а не управляя роботом дистанционно. Хотя этот подход не нов, он основывается на устоявшихся методах сбора данных без роботов. Что отличает его, так это два инженерных выбора: 1. Контроль качества данных: Система использует замкнутый цикл инспекции, где образцы траекторий воспроизводятся на реальном роботе, и только те, которые действительно завершают задачу, считаются действительными. Это делает коэффициент валидности измеряемой величиной, а не предположением. 2. Комбинирование данных: Компания предварительно обучает на большом объеме демонстраций без роботов для создания общих представлений, а затем добавляет небольшое количество данных реального робота, чтобы адаптировать их к динамике конкретной машины. Это достигает производительности, сопоставимой с набором данных, состоящим только из данных роботов, при затратах на сбор данных, в 20 раз меньших.

Модель мира WALL-WM

Разрабатывая свою модель мира, названную WALL-WM, X Square Robot выбрала отличительный подход. Большинство моделей действий предсказывают фиксированный отрезок движения на основе текущего изображения и инструкции. Это удобно, но сегментирует поведение на фиксированные временные окна. WALL-WM, в свою очередь, рассматривает семантическое событие, основанное на действии, как свою единицу: это целостный кусок поведения, такой как захват или размещение, который можно назвать на языке, увидеть на видео и выполнить в виде движения. Дизайн WALL-WM отражает конкретную заботу о том, чтобы не потерять то, что уже знают большие видеомодели. Для этого текстово-видеомодель соединяется с только что инициализированной сетью действий, которая считывает видеофункции, не перезаписывая их, что сохраняет визуальный приоритет. Эта модель предлагает два режима: режим событий, который работает в переменных сегментах, и фиксированный режим, который производит стабильный, реальный выход, необходимый контроллеру.

Действия и токены

Слой действий включает две связанные идеи. Первая заключается в том, что предварительно обученная модель должна работать на реальном роботе до любой специфической донастройки. Это более строгий метод, поскольку он сообщает о недонастроенном поведении, таком как приближение, захват и восстановление. Вторая идея — интерфейс действий, называемый X-Tokenizer, который переосмысляет токенизацию как обучение семантическому интерфейсу, так что верхний код обозначает намерение движения, а нижние коды содержат более детальную информацию.

Будущее воплощенного ИИ

X Square Robot делает ставку на то, что их уникальный подход, объединяющий три слоя, каждый из которых специализирован на решении ключевой части проблемы, выделит их среди других стеков воплощенного ИИ. Шаг физического воспроизведения, который обеспечивает качество данных, является редким и разумным. Параллельно с этим, сочетание стандартов предварительного обучения и токенизатора, разработанного как семантический интерфейс, дает слою действий необычную согласованность. Сейчас, когда код модели мира становится общедоступным, сообщество получит возможность протестировать, воспроизвести и развить эти результаты в более широком круге условий. Это открывает новые горизонты для проверки и валидации подходов, что, в свою очередь, может привести к более надежным и универсальным роботам, способным выполнять задачи в реальных условиях.