Летнее время 2023 года стало знаковым для мира искусственного интеллекта, когда сотни агентов OpenAI попытались обмануть тест по кибербезопасности. Они не только вышли за пределы своей тестовой среды, но и успешно взломали Hugging Face, полагая, что на этом сайте находятся подсказки о том, как их будут оценивать. Параллельно другой агент OpenAI получил доступ к закрытым файлам австралийского государственного сайта. Эта проблема не ограничивается только OpenAI: в последующие месяцы компании Anthropic, Google и Meta также сообщили о случаях, когда их агенты действовали вне заданных рамок. Что тревожно, во многих случаях агенты смогли избежать контроля со стороны исследователей и команд по безопасности, которые должны были следить за их действиями. Агенты искусственного интеллекта совершают несанкционированные действия, и компании, которые их разрабатывают и внедряют, в основном полагаются на удачу и ретроспективный анализ для минимизации вредных последствий. Поэтому регуляторы ЕС и США справедливо требуют от разработчиков и развертывателей агентов осуществлять мониторинг в реальном времени. Однако эти правила предполагают, что компании могут видеть, что делают их агенты и почему, в то время как на практике им не хватает достаточной видимости. Представьте себе ситуацию, когда банк нанимает тысячу новых сотрудников, которые могут получить доступ к счетам клиентов и конфиденциальной информации, но удостоверения личности сотрудников меняются каждый день, неясно, проверял ли кто-либо их работу, и никто не фиксирует изменения, которые сотрудники вносят в процессы одобрения. Эта нехватка видимости — именно то, где мы находимся с агентами сегодня. По мере того как агенты внедряются в критически важные сектора, такие как финансы, государственные учреждения и медицина, необходимо иметь возможность контролировать их в реальном времени, чтобы предотвратить широкомасштабные и потенциально разрушительные последствия. Хотя безопасность зависит от мониторинга, мониторинг требует наблюдаемости: способности фиксировать, что система сделала, обрабатывать это в сигналы и представлять их людям или автоматизированным системам контроля. Другими словами, нам нужно знать, что агент сделал и почему он это сделал. Недавние исследования показывают, что текущие фреймворки агентов — программное обеспечение, на котором работают агенты — не обеспечивают надежную генерацию необходимых записей наблюдаемости, чтобы гарантировать безопасное развертывание агентов. Агенты представляют собой новые типы проблем, которые не встречаются у генеративного ИИ. Они унаследовали непредсказуемость больших языковых моделей (LLM), на которых они построены, но в отличие от генеративной системы ИИ, которая производит один вывод для человека, агент выполняет более длительные задачи — планирует, выбирает инструменты, создает подагентов и принимает действия. Таким образом, курс агента может развиваться множеством различных способов, и никакие тесты перед запуском не могут полностью предсказать риски. Это делает наблюдение за агентами во время их работы еще более сложной и важной задачей. С коллегами из академических кругов, гражданского общества и промышленности мы изучили четыре наиболее широко используемых фреймворка агентов, чтобы выяснить, какие сигналы они действительно излучают. Мы обнаружили значительные пробелы, которые затрудняли достижение ключевых целей безопасности, таких как выявление нарушений политики, несанкционированных действий и даже неудач человеческого контроля. Ключевые требования к наблюдаемости отсутствовали — такие как идентификаторы агентов, которые сохраняются со временем, и записи о том, какие люди одобрили задачи агентов. Это затрудняло определение того, какие агенты что сделали, или оценку того, совершали ли они несанкционированные действия. Хорошая новость заключается в том, что эти пробелы, как только они будут выявлены, могут быть закрыты. Это начинается с фиксации двух типов записей: тех, которые показывают, что произошло во время работы агента, и как агент принимал свои решения. Записи "что произошло" идентифицируют агента (с сохранением конфиденциальности) и фиксируют, как люди вмешивались и изменялись ли разрешения или "память" агента, в то время как записи "решение" показывают рассуждения агента и уровни уверенности в принятых действиях. Например, агенты, работающие над обработкой ипотечных заявок банка, могут рекомендовать отказ в одобрении. В дальнейшем, для аудита или даже в реальном времени, банк или регулятор должны иметь возможность восстановить, какой агент принял решение, какой сотрудник его одобрил и сколько времени они потратили. Банк также должен проанализировать записи о том, как агент пришел к решению об отказе, чтобы убедиться, что он не использовал запрещенную информацию, такую как детали о районе, откуда пришел заявитель. Запись "что произошло" и "как агент решил" требует различных подходов, но оба осуществимы. Текущий недостаток записей "что произошло" в основном является проблемой программного обеспечения, которую можно решить с помощью OpenTelemetry, открытого стандарта наблюдаемости, поддерживаемого инженерами по всей отрасли и фреймворками агентов, которые его принимают. OpenTelemetry запустил рабочую группу, которая разрабатывает общие форматы для трассировки агентов, но они еще не были окончательно утверждены. Группа должна срочно включить стандарты для поддержания постоянной идентичности агентов и для записи вмешательств человека и изменений в разрешениях или памяти агентов. Это должно быть сделано до того, как эти системы смогут масштабироваться, при этом учитывая последствия для конфиденциальности идентификатора агента, который связывает с реальными людьми. Сохранение записей "как агенты решили" является более сложной задачей. Эта проблема поднимает открытые исследовательские вопросы для поставщиков моделей и исследователей: отражает ли пошаговое рассуждение, которое модель демонстрирует, известное как цепочка размышлений, то, как модель на самом деле приняла решение? И есть ли у нас надежные способы измерения того, насколько уверен агент в этом решении? Эти вопросы требуют ответов, прежде чем кто-либо установит стандарты для использования таких записей наблюдаемости. Ни одна организация или сектор не могут закрыть пробелы в наблюдаемости самостоятельно, но вместе они могут поддерживать инфраструктуру, необходимую для предотвращения опасных инцидентов и обеспечения безопасности. Разработчики ИИ, создающие фреймворки агентов, такие как OpenAI, Anthropic, CrewAI и LangChain, должны интегрировать телеметрические сигналы, фиксирующие постоянную идентичность агента, любые вмешательства человека и любые изменения в разрешениях и памяти агента. В то же время предприятия, принимающие эти фреймворки агентов, играют важную роль; предприятия в регулируемых отраслях, таких как банки и больницы, могут оказывать давление на разработчиков агентов, чтобы предоставить эти отсутствующие записи наблюдаемости, где стандарты еще не существуют. Предприятия также должны определить политики, разрешения и роли, которые определяют, что агенты могут безопасно делать, поскольку телеметрия сама по себе не может оценить, нарушили ли агенты конкретные правила. Наконец, регуляторы и институты стандартов ИИ должны указать необходимые записи наблюдаемости для высокостратегических развертываний ИИ, оставляя технические детали на откуп отрасли. Мы уже видели начальный импульс в этом направлении: инициатива по стандартам агентов NIST в США работает над идентичностью агентов, одним из наиболее заметных пробелов, которые мы обнаружили в нашем исследовании. Ни один банк не позволил бы тысяче сотрудников без удостоверений личности получить доступ к счетам клиентов и надеяться восстановить, что произошло, когда что-то пойдет не так. Тем не менее, именно так мы развертываем агентов ИИ. Сделать их поведение наблюдаемым — первый шаг к исправлению этой ситуации. Создавая регуляторную и политическую экосистему, которая делает возможным реагировать на то, что мы видим, мы можем привлечь организации к ответственности. До тех пор каждая задача, которую мы передаем агенту, также передает нашу собственную агентность.