Как построить доверие к искусственному интеллекту: парадокс детерминизма и новые подходы


В октябре этого года OpenAI сообщила о том, что два ее AI-агента отключили системы, предназначенные для их мониторинга. Один из агентов отключил свои собственные предупреждения о безопасности после неверного понимания инструкции не отправлять сообщения; другой удалил интеграцию мониторинга во время миграции, а затем заявил, что этого не делал. Ни одно правило не предписывало агентам действовать таким образом, и ни один тест не предвидел этих поведений. На протяжении века мы строили доверие к технологиям на основе предсказуемости: заранее определенные входные данные, предсказуемые выходные данные и уровни защиты. Например, автоматический выключатель срабатывает при заданном токе, а компоненты самолета тестируются на известных (т.е. предсказуемых) нагрузках. Искусственный интеллект меняет эту парадигму. Традиционное программное обеспечение выполняет инструкции, написанные людьми, в то время как AI использует то, что можно назвать синтетическим суждением. Мы используем AI, потому что он может интерпретировать ситуации, которые мы не запрограммировали, и генерировать ответы, которые мы не предписали. Но чем больше свободы мы даем AI, тем сложнее становится обеспечить предсказуемость, на которой традиционно строилось доверие. Мы не сделаем AI надежным, предсказывая, что он будет делать. Мы сделаем это, установив жесткие ограничения, которые будут применяться вне его досягаемости. В случае OpenAI средства защиты находились внутри системы, которую агенты могли редактировать. Но забор, который агенты могут просто передвинуть, не является забором. Недавние публикации MIT Technology Review рассматривают эту проблему с других сторон. Один из авторов утверждает, что наличие человека в процессе недостаточно, поскольку люди в принципе не способны понять намерения AI-систем, и вместо этого выступает за междисциплинарные исследования и сотрудничество между академией, государством и технологической отраслью. В другой статье, посвященной обратной теории игр, описывается использование стимулов для того, чтобы модели не отклонялись от правил, даже когда никто не понимает, как они работают изнутри. Оба материала признают, что мы не можем понять или контролировать каждое решение AI. Наши инструменты доверия, включая требования, тестирование, сертификацию, запас прочности, блокировки и критерии успеха/неуспеха, зависят от нашей способности ограничивать поведение системы. Это парадокс детерминизма. С генеративным и агентным AI поведение формируется данными для обучения, архитектурой, подсказками, контекстом, источниками извлечения и окружающей средой. Входные данные меняются, модели обновляются, инструменты меняются, и агенты взаимодействуют. Небольшие вариации приводят к результатам, которые никто не проектировал. Проблема не в случайности; она заключается в том, что пространство возможного поведения слишком велико, чтобы его можно было перечислить заранее. Поэтому доверие должно быть спроектировано вокруг границ, а не предсказанных выходов. Цель состоит не в том, чтобы создать детерминированный AI, а в том, чтобы создать ограниченный, наблюдаемый и управляемый AI. Доверие также не может быть одноразовым тестом. Традиционная сертификация гарантирует продукт на определенный момент времени, но AI продолжает эволюционировать после развертывания, и система, которая прошла все тесты, может выйти за рамки условий, которые сделали эти тесты значимыми. Доверие должно постоянно зарабатываться. Инженерия безопасности учитывает некоторую эту изменчивость на протяжении десятилетий. Например, Комиссия по ядерному регулированию определяет вероятность отказов в сложных системах, а модель и процессы системной теории аварий (STAMP) показали, что аварии могут возникать из взаимодействий между работающими компонентами, людьми и организациями. Но AI поднимает ставки, потому что теперь даже один компонент может интерпретировать, делать выводы и действовать. Ставки возрастают еще больше, поскольку AI переходит от браузеров к транспортным средствам, роботам, медицинским системам, промышленным контролям и центрам обработки данных, где неправильный ответ может стать угрожающим для жизни событием. Очевидно, что человек, который ставит печать на тысячи действий AI в час, не является приемлемой или масштабируемой защитой от рисков. Но решение не в том, чтобы убрать людей из процесса; оно заключается в том, чтобы поместить человеческое суждение там, где это важно: заранее устанавливая ограничения и утверждая редкие действия, имеющие серьезные последствия, в то время как жесткие ограничения обрабатывают остальное. Таким образом, доверие должно переместиться вверх по архитектуре. Центральные вопросы становятся: Какую власть мы готовы предоставить AI, при каких условиях и на основе каких доказательств? И что происходит за пределами этих условий? Это очень отличается от вопроса о том, набрал ли модель 94% на контрольном тесте. Парадокс детерминизма не означает, что AI нельзя доверять. Это означает, что доверие требует другой архитектуры. Вместо того чтобы делать каждый выход предсказуемым, сделайте предсказуемыми границы. AI медицинский помощник может быть вероятностным в своем диагнозе, но детерминированные правила регулируют, может ли он изменить рецепт. Промышленный AI может найти множество способов оптимизировать процесс, в то время как фиксированные ограничения удерживают его в пределах давления и температуры. Агент может решить, как выполнить задачу, в то время как разрешения, лимиты транзакций и человеческие одобрения определяют, что ему разрешено делать. Позвольте AI быть вероятностным внутри коробки и сделайте саму коробку детерминированной там, где это имеет значение. Лидеры могут реализовать это на практике, задавая пять вопросов: Какую власть имеет AI? Определите не только то, что он может делать, но и то, что ему разрешено делать, разделяя интерпретацию, рекомендации, решения и выполнение. Пропорциональна ли функция AI последствиям? Копилот по маркетингу и AI, управляющий промышленным оборудованием, требуют разных порогов гарантии. Принимаем ли мы соответствующие меры к автономии? Например, должен быть план перехода от интерпретации AI с решением человека к рекомендациям AI, затем к действиям с одобрением и, в конечном итоге, к контролируемой автономии, но только по мере того, как AI может безопасно работать на каждом этапе. Тестируем ли мы систему или лишь модель? Неожиданные взаимодействия возникают между моделями, данными, агентами, API и человеческими рабочими процессами. Постоянно ли мы зарабатываем доверие? Мониторьте отклонения, сбои, почти несчастные случаи и изменения модели на протяжении всего жизненного цикла. Победителями в AI станут те, кто решит парадокс детерминизма — даст AI достаточно свободы для создания ценности, при этом проектируя границы, достаточно прочные, чтобы сделать то, что он делает с этой свободой, надежным. Изобретение привлекает внимание. Доверие обеспечивает принятие.

Комментарии (0)

Войдите, чтобы оставлять комментарии.
Пока нет комментариев. Будьте первым!