С увеличением автономии AI-агентов, которые могут планировать, принимать решения и действовать в системах без одобрения человека на каждом этапе, в центре внимания архитектурных обзоров оказывается важный вопрос: что на самом деле останавливает агента, если он пытается выполнить действие, на которое у него нет разрешения? Эти агенты работают на ваших моделях, взаимодействуют с вашими данными в вашей инфраструктуре, и ответственность за их действия лежит на вас. Эта ответственность не может быть выполнена задним числом или с помощью абстрактных политик, которые существуют только на бумаге. Агенты нуждаются в правилах, актуальных в момент, когда они действуют, поскольку они не обладают собственным суждением о своих действиях. Рассмотрим простое правило: никогда не открывай дверцу автомобиля. Если следовать этому правилу буквально, агент никогда не сможет войти или выйти из машины. Однако если изменить контекст (машина только что попала в аварию, начался пожар, кто-то ранен и нуждается в помощи), то правило, которое вам действительно нужно, будет противоположным. Контекст в моменте имеет решающее значение. Мы просим агентов выполнять интеллектуальные задачи; это требует и интеллектуальных правил. Инстинктивно возникает желание добавить защитные механизмы вокруг агента: инструкции, политики и мониторинг, наложенные на модель. Эти механизмы важны, но они имеют структурное ограничение: правило о дверце автомобиля кажется разумным до момента, когда необходимо принять решение о том, открывать ли её. Контроль на уровне агента столь же надежен, как предсказуемость его вывода, а автономия как раз и делает этот вывод трудным для предсказания. Управление, зависящее от предварительного рассмотрения действия, не может успевать за системой, которая действует за миллисекунды, одновременно в нескольких системах. Управление должно стать исполняемым и осуществляться там, где агенты действительно выполняют свою работу: на уровне операционных данных, в контексте и точно в момент, когда это происходит. Уровень данных — это точка контроля. Агенты создают ценность, взаимодействуя с данными. Они запрашивают данные, извлекают их, преобразуют и все чаще действуют на их основе. Политика, которая говорит, что агент не должен получать доступ к определенному классу данных, имеет значение только в том случае, если система может отказать в этом доступе в момент запроса агента. Кроме того, принцип, согласно которому AI должен быть подотчетным, имеет смысл только в том случае, если организация может восстановить, что агент сделал, к каким данным он обращался, от имени какого пользователя он действовал и каковы были результаты. Когда управление осуществляется на уровне данных, оно сохраняется независимо от того, как был построен агент или как он себя ведет, поскольку контроль является свойством самой базы данных, а не обещанием, данным агентом. Поведение агента может быть вероятностным. Управление не может быть таким. Предприятие не должно полагаться на то, что модель будет следовать политике. Политика должна быть обеспечена системой. Это разница между надеждой на то, что актор останется в рамках, и созданием границ, которые он не сможет пересечь с самого начала. Контроль, который делает это реальным, уже реализован во многих предприятиях на уровне данных: управление доступом на основе ролей и атрибутов, безопасность на уровне строк и столбцов, классификация и маскировка, политика как код и полные аудиторские следы. То, что меняется с приходом агентов, — это не механизм, а то, кого механизм должен распознавать. Управление идентификацией должно рассматривать агента как самостоятельного субъекта, с его собственной идентичностью и целью, объявленной при открытии сессии. Как только цель связана с идентичностью, движок политики может оценивать её так же, как он оценивает роль или отдел сегодня, а запись того, что произошло, может фиксировать не только то, кто действовал и с чем он взаимодействовал, но и что он заявил, что собирается сделать. На практике это сводится к девяти контролям, сгруппированным по трем императивам:

Обеспечить:

- Управление доступом на основе ролей и атрибутов, обеспечиваемое во время запроса, как для агентов, так и для пользователей. - Динамическая маскировка столбцов, управляемая тем же путем политики. - Идентичность агента как самостоятельного субъекта, с объявленной целью, связанной в начале сессии, и сохранением действующего пользователя.

Увидеть и доказать:

- Классификация и тегирование, которые управляют политикой. - Аудит на уровне сессии, который фиксирует, какой агент действовал, от имени какого пользователя и под какой объявленной целью. - Происхождение данных по конвейерам, чтобы результат можно было проследить обратно к запросу, который его произвел.

Объединить и укрепить:

- Централизованное, переносимое управление политиками. - Шифрование данных в состоянии покоя и при передаче. - Последовательное применение правил как в локальных, так и в облачных, а также в суверенных или изолированных средах. "Объявленная цель — это то, что делает разницу. Она становится атрибутом, который уровень доступа уже понимает, и оценивается в том же политическом пути, что и безопасность на уровне ролей и строк. Механизм обеспечения не меняется. Меняется то, что цель агента является частью того, что он оценивает, и частью того, что запись доказывает впоследствии", — говорит Прианка Джейн, вице-президент по управлению продуктами, данным и AI-управлению в EDB. Где бы вы ни находились на пути к внедрению AI, обеспечение на уровне данных позволяет вам двигаться быстрее, а не медленнее. Контроли уже находятся в базе данных. Разница в том, что агенты теперь должны проходить через них. Цель состоит не в том, чтобы остановить агентов от выполнения полезной работы. Она заключается в том, чтобы определить, как далеко может зайти агент, что он может затрагивать, что он может изменять, что требует эскалации и как организация может восстановить события, если что-то пойдет не так. Таким образом, агенты идентифицируются, ограничиваются, контролируются и подлежат аудиту. Предприятие может быстрее их внедрять, поскольку команды по безопасности, рискам и руководству доверяют операционной модели. Построенная на основе открытого исходного кода Postgres, эта открытая основа позволяет предприятиям контролировать, где находятся их данные, кто может к ним получить доступ и на каких условиях, не передавая управление слою, который они не контролируют или не могут проверить. Для регулируемых отраслей такое сочетание суверенитета данных и обеспечения на уровне источника является необходимым условием для внедрения агентов в производство. Агенты будут становиться все более способными и автономными. Это повод быть осторожными в вопросе, где находится контроль, а не повод замедляться. Предприятия, которые обеспечивают управление на уровне данных, могут активно развивать AI, потому что то, что защищает их данные, — это не просто надежды.