На прошлой неделе компания Google DeepMind представила Gemini Robotics 2, последнюю версию своей модели, основанной на взаимодействии между зрением, языком и действиями (VLA). С первой версией Gemini продемонстрировала, как многомодальное понимание может приводить к реальным действиям. Обновленная версия включает в себя интеллектуальное управление всем телом, продвинутую ловкость и возможность совместной работы нескольких роботов.

Инновации Gemini Robotics 2

Gemini Robotics 2 позволяет роботам обдумывать каждое движение, открывая широкий спектр задач. Например, эта модель может позволить гуманоиду ходить, приседать, тянуться и манипулировать предметами для уборки захламленной комнаты. Кроме того, робот может работать в команде с другими роботами, чтобы быстрее завершить задачу. DeepMind утверждает, что Gemini Robotics 2 может работать локально на устройстве и адаптироваться к совершенно новым роботам всего за несколько часов.

Новые модели от DeepMind

Помимо VLA, компания также представила несколько новых моделей:

Gemini Robotics ER 2: Эта модель, основанная на воплощенном рассуждении (ER), является моделью визуального языка (VLM), которая действует как агент DeepMind, позволяя роботам общаться с людьми, понимать физический мир и планировать многошаговые задачи, которые могут длиться несколько минут.

Gemini Robotics On-Device 2: Эта версия VLA оптимизирована для локального выполнения на роботах. Модель теперь может быстро адаптироваться к новым роботам с помощью всего лишь нескольких часов данных.

Управление всем телом

Gemini Robotics 2 значительно расширяет возможности управления физикой, позволяя контролировать не только верхнюю часть тела гуманоидов, как это было в предыдущих версиях, но и все тело. Например, при управлении гуманоидным роботом Apollo 2 от компании Apptronik, пользователи могут дать команду "положи лейку в зеленый контейнер на нижней полке". Apollo обрабатывает инструкцию, подходит к столу, поднимает лейку, делает несколько шагов к полкам и точно ставит ее на место. DeepMind подчеркивает, что для полезного применения в домашних и рабочих условиях роботам необходима ловкость. Gemini Robotics 2 открывает новый уровень физической ловкости для различных манипуляторов, позволяя выполнять деликатные действия, такие как завязывание узлов или запечатывание пакетов. Модель также может управлять стандартными двухпальцевыми захватами на платформе Franka Duo для выполнения сложных задач.

Управление сложными задачами

Большинство реальных задач требуют выполнения нескольких шагов в течение длительного времени. Gemini Robotics ER 2 служит высокоуровневым мозгом робота, обрабатывая пользовательские инструкции и взаимодействуя с людьми. Он наблюдает за окружающей средой, анализирует необходимые шаги для выполнения задачи, координирует действия с VLA и отслеживает прогресс до завершения задачи. Это позволяет роботам выполнять сложные многошаговые задачи, самостоятельно исправляя ошибки и обобщая новые ситуации и цели. С обновлением DeepMind заявляет, что теперь роботы могут более надежно выполнять длительные последовательности задач, которые могут длиться несколько минут и включать сотни решений. Gemini Robotics ER 2 теперь понимает, когда задачи начинаются и заканчиваются, и может точно определять момент ключевых событий, что является значительным шагом вперед в понимании прогресса.

Многофункциональное сотрудничество

С новой моделью DeepMind также вводит возможность многофункционального сотрудничества между роботами. Это позволяет различным типам роботов общаться и работать вместе, чтобы решать сложные задачи, которые один робот не смог бы выполнить самостоятельно.

Gemini Robotics On-Device 2 и его применение

Многие роботизированные приложения требуют работы без задержек в сети или интернет-соединения. Для решения этих задач DeepMind разработала Gemini Robotics On-Device 2. Эта модель является нативной многовариантной и наследует техники "переноса движений" от Gemini Robotics 1.5. Теперь модель может адаптироваться к новым двум-руким роботам всего за несколько часов, обычно с использованием менее 200 примеров.

Безопасность как приоритет

Google DeepMind подчеркивает, что безопасность является основополагающим аспектом их исследований в области робототехники. Gemini Robotics 2 специально направлена на повышение безопасности роботов в условиях неопределенности реального мира и при взаимодействии с людьми. DeepMind представила ASIMOV-Agentic, новый стандарт для оценки безопасности агентов и разрешения неопределенности. Например, он измеряет способность агента отказываться от небезопасных команд и предсказывать, возможно ли выполнение задачи, а также запрашивать вмешательство человека в случае неопределенности. С улучшенным воплощенным рассуждением DeepMind утверждает, что Gemini Robotics ER 2 является самой безопасной моделью в их арсенале, способной лучше обнаруживать людей поблизости и инициировать меры безопасности при необходимости.