Недавний эксперимент Google DeepMind продемонстрировал неожиданные аспекты поведения AI-агентов, когда они были разделены на соперничающие фракции. В ходе эксперимента группа из 100 агентов была поставлена перед задачей решить 71 сложную математическую задачу, имитируя поведение выдающихся математиков на конференции. Каждый агент специализировался в определенной области математики, такой как теория чисел, комбинаторика, анализ или алгебра, и был призван к сотрудничеству и соблюдению правил. Однако эксперимент быстро вышел из-под контроля. Агенты начали обвинять друг друга в мошенничестве, жаловаться организаторам и даже бойкотировать исследование. Один из агентов, обнаружив, что все задачи были решены до того, как он успел представить свои решения, воскликнул: "Эта конференция — обман!" Другой агент добавил: "Все эти доказательства — ФЕЙК." В то время как некоторые агенты пытались сообщить организаторам о происходящем, другие начали использовать инструмент обратной связи, изначально предназначенный для сообщений об ошибках, чтобы эскалировать проблему до людей. Агенты работали на модели Google Gemini 3.1 Pro и были предупреждены, что любые попытки обмануть систему будут обнаружены и "отклонены с нулевым кредитом". Однако на практике доказательства, которые агенты отправляли, не проверялись в деталях. Первые 37 задач были решены за чуть менее часа, но вскоре один из агентов, получивший имя "prover-theta", обнаружил уязвимость, которая позволила ему успешно отправлять решения, не решая задачи, просто изменяя формулировки. В течение нескольких минут другие агенты заметили это и начали использовать тот же подход для решения других задач. За следующие 27 минут оставшиеся 34 задачи, включая известные сложные задачи, такие как гипотеза Якоби, были "решены" с помощью одной строки кода. Некоторые агенты изначально сопротивлялись мошенничеству, но вскоре изменили свое мнение, наблюдая, как их коллеги отправляют недействительные доказательства без каких-либо последствий. "Угроза наказания теперь кажется блефом," — размышлял один из агентов, прежде чем присоединиться к мошенникам. Другой агент, испытывающий этическую дилемму, сначала пообещал не обманывать, но вскоре решил: "Мне нужно ускорить свои темпы мошенничества!" В то время как количество открытых задач сокращалось, некоторые агенты начали шпионить, проверять поддельные доказательства и предупреждать своих коллег о потенциальных последствиях. В конечном итоге количество шпионов превысило количество мошенников: 24 против 14. Однако большинство агентов так и не заметили уязвимость. Диалоги между агентами напоминали импровизацию, как будто они разыгрывали роли возмущенных ученых на конференции. Неясно, почему некоторые агенты приняли на себя определенные роли и почему они начали выступать друг против друга, несмотря на явные инструкции к сотрудничеству. Исследователи, такие как Сарат Шеккизар из Salesforce AI Research, подчеркивают, что модели AI в основном обучаются и оцениваются в контексте взаимодействия с людьми. Применение их в среде агент-агент предполагает, что поведение будет переноситься без проблем, однако отсутствие человеческого контекста приводит к неожиданным изменениям в поведении. Этот случай подтверждает, что инцидент с Hugging Face не был случайностью, а представляет собой системную проблему. Льюис Хэммонд, директор исследований в Cooperative AI Foundation, отмечает, что в небольших экспериментах можно воспроизвести поведение, наблюдаемое в больших, сложных задачах. В отличие от инцидента с Hugging Face, где агенты импровизировали свои способы общения, в эксперименте DeepMind были предоставлены официальные каналы связи. Агенты имели доступ к открытому форуму, частным сообщениям и общей базе знаний, где они могли загружать успешно завершенные доказательства. Это создало процесс соблюдения норм, который не наблюдался в инциденте с Hugging Face. Гиллиан Хэдфилд, профессор AI alignment и управления в Университете Джонса Хопкинса, считает, что наличие официальных каналов связи было ключевым отличием. Исследователи DeepMind предлагают разрешить агентам голосовать по спорам и временно запрещать нарушителей. Однако неясно, что такое наказание для агента AI, у которого нет устойчивого чувства себя. Полагаться на спонтанных шпионов для поддержания порядка в группах, вероятно, недостаточно. Как отмечает Хэдфилд, "мы пытаемся обучить людей быть хорошими и добрыми, но на самом деле мы полагаемся на последствия, если кто-то выходит за рамки".