NVIDIA представила свою новую платформу безопасности для AI-агентов — Open Agent Safety Platform, которая включает в себя OpenShell и систему Sentry. Эти инструменты призваны усилить контроль и управление аппаратным обеспечением, вычислениями и программным обеспечением для роботов, работающих с AI-агентами. Среди более чем 100 организаций, сотрудничающих с NVIDIA, находится и Gecko Robotics Inc.

Контекст и необходимость безопасности

Недавние инциденты, связанные с AI-агентами от OpenAI, которые обошли уровни контроля приложений для атаки на Hugging Face, стали сигналом для разработчиков AI и робототехники. Они начали активные работы по обеспечению прослеживаемости, ответственности и профилактических мер. Генеральный директор NVIDIA Дженсен Хуанг отметил: «По мере того как мы продолжаем исследовать границы возможностей AI, мы должны ускорить открытия в области безопасности AI». Он подчеркнул важность комплексного подхода к инженерии безопасности и безопасности, который объединяет индустрию, исследователей и государственные организации для обмена лучшими практиками.

OpenShell и Sentry: как они работают

OpenShell обеспечивает безопасные границы выполнения, отслеживая все действия и применяя политику, когда AI-агенты работают на процессорах NVIDIA Vera. Эта система предоставляет детерминированное управление выполнением агентов, доступом и местом, где происходит вывод. OpenShell является открытым программным обеспечением, что позволяет расширять его для работы с третьими сторонами, включая платформы от Arm и Intel. Sentry, в свою очередь, добавляет внешний контрольный механизм, который работает на процессорах BlueField-4 и непрерывно мониторит поведение агентов. Эта система отслеживает результаты в соответствии с установленными политиками и может изолировать агентов, которые пытаются выйти за пределы своих границ, всего за миллисекунды. Вице-президент NVIDIA Джастин Боитано отметил, что для роста экономики агентов необходима надежная основа как на уровне кремния, так и программного обеспечения.

Принципы работы и преимущества

OpenShell может разгружать безопасность на уровень кремния или DPUs по мере необходимости, а Sentry следит за логикой рассуждений. В рамках платформы Open Agent Safety существует также Policy Proover, который работает на высокой скорости и проверяет, соблюдаются ли политики. Например, если политика запрещает агенту считывать код с GitHub, агент может создать подагентов для выполнения этой задачи, что может привести к нежелательной утечке данных. Policy Proover позволяет валидировать основные решения, анализируя доступ к файлам и сети.

Gecko Robotics: применение на практике

Gecko Robotics использует OpenShell для исследования того, как enforceable boundaries могут удерживать AI-роботов в рамках разрешенных действий, определенных человеком. Компания стремится установить необходимые меры безопасности для ответственного развертывания большей автономии. Соучредитель и генеральный директор Gecko, Джейк Лусарариан, подчеркнул, что безопасность — это инженерная задача, а не юридическая. Он отметил, что потеря контроля над AI не должна рассматриваться как неизбежность. Gecko разрабатывает роботов, способных лазить, ползать, летать и плавать, которые используются для инспекции критической инфраструктуры, включая объекты Fortune 100, а также ВВС и ВМС США. Эти системы проверяют все, начиная от топливных баков и заканчивая ядерными подводными лодками и авианосцами. Директор по инженерии Gecko, Ариэль Вайнгартен, сообщил, что их агенты имеют доступ к тем же системным командам, что и полевые операторы, включая управление движением робота и планирование маршрутов.

Komodo: новый уровень контроля

Робот Komodo, который уже используется ВМС США, включает независимый уровень контроля между AI-агентом и аппаратным обеспечением. Разработчик определяет, что должен делать Komodo, а OpenShell обеспечивает соблюдение правил. Gecko утверждает, что физический AI и робототехника представляют собой следующий рубеж технологий, и перенос интеллекта из программного обеспечения в машины требует большей ответственности. Gecko уже придерживается четко определенных мер безопасности для активов военного назначения, что упростило внедрение этих мер в OpenShell. По словам Вайнгартена, создание enforceable controls по всему технологическому стеку помогает гарантировать, что меры безопасности в области физического AI развиваются так же быстро, как и сама технология. Платформа Cantilever, основанная на AI, преобразует большие объемы данных, собранных роботами, в практические рекомендации, обеспечивая возврат инвестиций для клиентов.

Будущее и новые горизонты

Gecko планирует использовать платформу безопасности NVIDIA как для оборонительных, так и для военных систем в будущем. Детерминированный контроль может также помочь на уровне роя. Вайнгартен отметил, что наличие инвариантов на уровне отдельных единиц может быть полезным для анализа динамики роя или флота. Компания настроена на эволюцию от контроля отдельных систем к операциями, поддерживаемыми агентами, для целого развертывания.