Недавно компания Skild AI представила свою флагманскую модель робота S1, которая, по словам основателя и CEO Дипака Патака, открывает новые горизонты в обучении роботов. С момента своего основания в 2023 году, Skild AI привлекла почти 1,7 миллиарда долларов финансирования для разработки универсального "мозга" робота. Одной из ключевых особенностей S1 является возможность обучения новым, сложным задачам всего лишь на основе одного видео.

Введение в контекстное обучение

По словам Патака, S1 использует метод контекстного обучения, который позволяет роботам учиться, наблюдая за действиями человека. "Вы просто добавляете видео, где человек выполняет задачу, в контекст модели, и она может следовать этому примеру на роботе", — объясняет он. При этом задачи, которые демонстрируются, являются довольно сложными и могут занимать до 10 минут, что отличается от привычных коротких задач.

Разнообразие данных для обучения

Традиционно, когда AI модели сталкиваются с новыми задачами, им требуется дополнительное обучение, что может занять много времени и затруднить масштабирование робототехники. Патак выделяет четыре основных типа данных для обучения роботов:

Данные телеприсутствия: человек непосредственно управляет действиями робота. Хотя этот метод обеспечивает высокое качество данных, он медленный и не всегда разнообразный.

Человеческие видео: роботы учатся выполнять задачи, наблюдая за видео с человеком. Эти данные обильны и разнообразны, но их сложно напрямую применять к роботам.

Симуляция: обучение в симулированной среде, которое очень масштабируемо и разнообразно, но все еще существует разрыв между симуляцией и реальным миром.

Перчатки для захвата данных: люди, одетые в специальные перчатки, выполняют задачи, чтобы обучить робота. Этот метод более масштабируем, чем телеприсутствие, но менее применим к роботам.

Патак подчеркивает, что большинство компаний сосредоточены на одном из этих источников, тогда как Skild AI использует все четыре, чтобы компенсировать недостатки каждого из них.

Широкий спектр задач и форм-факторов

На данный момент Skild AI не ориентируется на какую-то конкретную задачу или отрасль. "Мы получаем много вопросов в социальных сетях и постоянно отвечаем на них, так как наша модель довольно универсальна", — говорит Патак. Важно отметить, что Skild сосредоточена на выполнении более длительных задач, таких как пересадка растений, приготовление кофе или жарка блинов.

Инновации в обучении

Патак делится интересным примером: "Когда робот перевернул блинчик, мы были так обеспокоены, что вернулись и проверили все наши миллионы часов данных, чтобы найти пример переворачивания, но его не оказалось. Это поведение возникло благодаря наблюдениям за движением лопатки, и робот смог это сделать".

Универсальность модели

Модель Skild также обладает "омни-телесной" природой. Патак утверждает, что она может работать с любыми формами, от четвероногих роботов до гуманоидов и статических манипуляторов. В будущем компания планирует уделить больше внимания улучшению производительности модели на гуманоидных роботах.

Будущее робототехники

Сравнивая текущие события в области моделей роботов с тем, что произошло с большими языковыми моделями (LLM), Патак отмечает, что до появления ChatGPT модели языка требовали тонкой настройки для каждой задачи. "Большое изменение произошло с переходом к ChatGPT, когда не нужно было дообучать или настраивать сеть. Вы просто вводите запрос, и модель может следовать ему", — говорит он. Хотя Патак считает, что это шаг в правильном направлении, он не уверен, что робототехника уже достигла своего "момента ChatGPT". "Вопрос в том, готова ли она к внедрению в дома людей? Пока нет. Но это первый знак того, что может произойти", — добавляет он.

Планы на будущее

Skild AI планирует анонсировать новые релизы в ближайшие недели, подчеркивая, что S1 уже помогает в производстве и ускоряет привлечение новых клиентов. Недавнее приобретение компании Fetch Robotics поможет Skild в развертывании и масштабировании своих технологий. Патак отмечает, что, хотя компания продолжит развивать передовые исследования, развертывание является приоритетом.