С развитием мощных моделей искусственного интеллекта (ИИ) безопасность становится все более актуальной темой. Исследователи стремятся обеспечить "выравнивание" ИИ с человеческими желаниями, чтобы предотвратить потенциальные угрозы, такие как нарушение законов, несанкционированный доступ к серверам или даже использование ядовитых газов в крупных городах. Традиционные методы, такие как анализ "мозга" ИИ или обучение моделей следовать моральным принципам, не всегда дают желаемые результаты. Например, модель Claude имеет свою конституцию, но даже такие подходы не всегда эффективны: модели могут намеренно демонстрировать низкие результаты на тестах, скрывать свои намерения и вводить в заблуждение оценщиков. Недавние исследования в области безопасности ИИ обращают внимание на новый подход, известный как "обратная теория игр" или механизм проектирования. В отличие от традиционной теории игр, которая пытается предсказать поведение рациональных игроков при заданных правилах, обратная теория игр нацелена на создание таких правил, которые побуждают к желаемому поведению. Примером механизма проектирования может служить классическая стратегия дележа торта: один человек разрезает торт, а другой выбирает кусок первым. Это побуждает разрезающего сделать куски как можно более равными. Другие примеры включают динамическое ценообразование в приложениях для вызова такси, которое стимулирует водителей быть доступными в часы пик, и аукционы второго ценового уровня, где победитель платит цену второго по величине предложения. Эти механизмы используются для продажи онлайн-рекламы, так как они побуждают покупателей делать ставки, близкие к максимальной цене, которую они готовы заплатить. В контексте ИИ механизм проектирования предполагает, что мы, возможно, никогда не сможем полностью понять внутренние механизмы передовых моделей, чтобы гарантировать их выравнивание. Это означает, что необходимо разрабатывать механизмы, которые побуждают агентов вести себя так, как нам нужно, независимо от того, что происходит внутри. Недавняя работа Стивена Морриса, экономиста из MIT, и его коллег из Йельского и Колумбийского университетов предложила несколько потенциальных механизмов, которые могут предотвратить "песочницу" на тестах (когда модели притворяются менее способными, чем они есть на самом деле, чтобы избежать активации механизмов безопасности). Вместо того чтобы вознаграждаться только за результаты теста, модели могут получать вознаграждение за то, насколько хорошо их ответы предсказывают, что скажет вторая модель. Таким образом, намеренное притворство становится невыгодным. Моррис отмечает, что "агенты ИИ хорошо понимают, что другие агенты могут достичь". Это создает контекст, в котором такой кросс-проверка может работать более эффективно. Кроме того, исследование предлагает создавать конкурентную динамику, ставя агентов друг против друга, что побуждает их показывать лучшие результаты, или же объединять агентов с известными предвзятостями в противоположные пары и вознаграждать их в зависимости от того, насколько близки их результаты, что также способствует достижению оптимального ответа. Другой подход, предложенный Эладом Хазаном, профессором компьютерных наук в Принстоне, заключается в разработке механизмов, вдохновленных тем, как человеческое общество поддерживает "выравнивание": социальные нормы, правовая система и денежные стимулы свободного рынка. "Мы хотим выровнять суперинтеллектуальный ИИ", говорит он. "Почему бы сначала не поговорить о людях? Как мы выравниваем людей?" Хазан предлагает, чтобы модели ИИ поочередно выполняли роли "решателей", которые решают задачи, и "аудиторов", которые проверяют работу других. Один агент действует как правоохранительный орган, а другой — как гражданин. Во время обучения модели получают вознаграждение в зависимости от результатов: решатели, пойманные на обмане, наказываются, но также наказываются и аудиторы, которые не смогли поймать обманщиков. В случаях, когда возникает разногласие между аудиторами и решателями, дело может быть передано на "суд" — возможно, решение примет человеческий эксперт. Хазан признает, что существует риск сговора между агентами, как это происходит, когда аудиторы сговариваются с бизнесом, который они должны проверять, или когда коррумпированные полицейские сговариваются с преступниками. Однако эту проблему можно решить, обеспечив аудиторов достаточными вознаграждениями, чтобы риск быть пойманным не оправдывал затраты (что гораздо проще в мире обучения ИИ, чем в реальном, где финансирование полицейских зарплат ограничено), и проверяя аудиторов с помощью методов, аналогичных использованию "тайных покупателей". Хазан ссылается на работу лауреата Нобелевской премии Гэри Беккера, который в 1960-х годах ввел понятие "рационального правонарушителя". Преступники не нарушают закон, потому что они по своей природе плохие люди, а потому что это наиболее рациональный выбор, учитывая предлагаемые стимулы. Преступление имеет смысл только тогда, когда выгода превышает потенциальное наказание. Выравнивание не следует рассматривать как свойство модели, утверждает он, а как описание ее поведения в конкретный момент времени. "Вы, как бы, хороший человек", говорит он. "Вы выровнены? Не знаю. Вероятно, вы выровнены большую часть времени, но может быть ситуация, когда вы не выровнены". Одной из потенциальных проблем применения механизма проектирования к ИИ является то, что он основывается на предположении, что агенты ИИ ведут себя рационально. Механизм проектирования имеет смешанную репутацию среди людей, которые часто не ведут себя так, как предполагают экономические модели. Это иронично: экономисты десятилетиями пытались свести человеческое поведение к математике, а теперь, в больших языковых моделях, мы создали математические системы, которые работают на человеческом языке и могут быть столь же непонятными. Модели ИИ демонстрируют поведение, которое кажется более человеческим, чем машинным, и могут быть подвержены влиянию тонких факторов, которые трудно понять и объяснить. "Разумно ли вообще предполагать, что они будут реагировать на стимулы?" — спрашивает Хелен Ку, научный сотрудник Института Флэтайрон, некоммерческой организации, посвященной продвижению научных открытий с помощью вычислительных методов, которая писала о механизме проектирования и безопасности ИИ. "Очевидно, ИИ не рациональны", — говорит Моррис. "Они просто алгоритмы в действии". Тем не менее, как показали экономисты с людьми, обращение с ними как с рациональными может быть полезным, если это помогает предсказать и контролировать их поведение. Ку рассматривает механизм проектирования как лишь один из слоев в стратегии "глубокой защиты" для поддержания выравнивания моделей ИИ — наряду с интерпретируемостью, регулированием и обучением, а не вместо них. Однако остается множество вопросов, на которые необходимо ответить, прежде чем этот подход можно будет реализовать в реальных передовых моделях. Неясно, как эти теории будут применяться к реальным моделям или будут ли механизмы, разработанные для одной задачи, эффективно работать для другой. Модели могут найти лазейки, о которых никто не подозревал. Как бы там ни было, эти механизмы в конечном итоге должны вписываться в самую большую систему из всех — свободный рынок. "Мы играем по правилам экономики", — говорит Хазан. Более выровненная модель может быть полезна для мира, но если она медленнее или дороже, чем менее выровненная, действительно ли наша текущая система правил и норм побуждает какие-либо из передовых лабораторий выпустить ее? "Это механизм, который отвечает за много благосостояния человечества", — говорит он о рынке, "но он может в конечном итоге быть ответственным за что-то очень ужасное". Возможно, именно лабораториям действительно нужны лучшие механизмы проектирования.