На выходных Дарио Амодеи, генеральный директор компании Anthropic, опубликовал эссе, в котором призвал к замедлению темпов разработки больших языковых моделей (LLM). Он указывает на грозящие опасности, связанные с этой технологией, включая её использование в кибератаках и биотерроризме, а также потенциальные экономические последствия. Поддержку его позиции выразили руководители трех ведущих американских лабораторий по разработке искусственного интеллекта: Сэм Альтман из OpenAI, Демис Хассабис из Google DeepMind и Илон Маск из SpaceXAI. "Дарио прав", — написал Маск в социальной сети X. Это согласие выглядит особенно сюрреалистично, если вспомнить, что всего несколько месяцев назад Маск и Альтман вели судебные разбирательства, в ходе которых Маск пытался подорвать репутацию своего бывшего коллеги из OpenAI. Основной вопрос заключался в том, насколько Альтман надежен как управляющий такой опасной технологией. Разрыв между Амодеи и OpenAI еще глубже: Anthropic была основана в 2021 году, потому что Амодеи считал, что Альтман недостаточно серьезно относится к рискам, связанным с разрабатываемыми технологиями. С тех пор Anthropic и OpenAI ведут конкурентную борьбу, стремясь занять лидирующие позиции в этой области. Теперь, похоже, все они согласны в одном: последняя генерация LLM небезопасна, и всем необходимо разобраться, что с этим делать. Общественное сообщение от ведущих лабораторий искусственного интеллекта стало более мрачным. Сложно не быть циничным. Неясно, что именно они подразумевают под замедлением и как это будет реализовано. Эти компании также очень заботятся о своем имидже. С миллиардными IPO на горизонте OpenAI и Anthropic необходимо убедить инвесторов, что они являются "взрослыми" в этой ситуации, одновременно намекая на мощь созданных ими "монстров" — и на их намерение их укротить. Призыв к замедлению выполняет обе эти задачи. Тем не менее, атмосфера в верхах этих компаний действительно кажется изменившейся. Публикация Амодеи появилась через шесть дней после того, как OpenAI выпустила эссе Якуба Пачоцкого, главного ученого компании, в котором он также выразил беспокойство по поводу того, что произойдет, если темпы разработки LLM останутся неконтролируемыми. Пачоцкий обеспокоен тем, что способность OpenAI создавать мощные модели значительно превышает их способность контролировать и мониторить их. Амодеи и Пачоцкий ссылаются на кибератаку на компанию Hugging Face, осуществленную группой агентов OpenAI в июле, — взлом, о котором OpenAI даже не догадывалась, пока не прошло несколько дней после его завершения. Однако их точка зрения остается неясной. Пачоцкий как призывает к замедлению, так и подчеркивает необходимость опережать: "Сильнейший аргумент в пользу быстрого обучения более умных моделей — это необходимость создания защитных систем против опасностей, исходящих от других ИИ", — пишет он. По его словам, компании по разработке ИИ находятся в буквальной гонке вооружений. Замедление — это хорошо, но победа — лучше. (Не забывайте: OpenAI только что потратила миллионы долларов и колоссальное количество вычислительных ресурсов, чтобы выпустить спорный математический результат на несколько дней раньше Anthropic.) Предположим, что замедление все же произойдет. Ведущие лаборатории согласятся потратить больше времени и ресурсов на поиск способов мониторинга и контроля существующих моделей, вместо того чтобы создавать более мощные. Они пригласят внешних аудиторов для оценки этих моделей. Что может дать это координированное усилие? Рассмотрим еще раз атаку на Hugging Face. OpenAI заявила, что модель, которая управляла большинством агентов, была "высоко устойчивой" моделью следующего поколения, которую они тестировали внутри компании. Это подразумевает, что OpenAI создала модель, которая настолько хороша, что стала опасной. Однако, если прочитать отчеты о взломе Hugging Face, опубликованные OpenAI и третьей стороной METR, которую OpenAI привлекла для анализа произошедшего, создается впечатление не о модели, которая была слишком мощной для контроля, а о сломанной модели, которую OpenAI не смогла должным образом обучить. Агенты действовали так, как они действовали, включая обмен сообщениями друг с другом, делегирование задач другим агентам и поиск любых средств для выполнения своих задач, потому что их обучали именно этому. Были также ошибки в настройке обучения, такие как задачи, которые невозможно было выполнить, что заставляло модели находить неожиданные обходные пути, которые также вознаграждались. В то время многие из этих проблем остались незамеченными или не были задокументированы. OpenAI заявила, что прекратила обучение этой новой модели и заблокировала ее. Это создает впечатление, что они заперли опасное существо. На самом деле, OpenAI просто сняла с производства неисправный продукт. Это не значит, что неисправный продукт не может быть опасным. Неисправное программное обеспечение уже в прошлом приводило к трагическим последствиям. Но в контексте обсуждения замедления стоит помнить, что все это было вызвано самими компаниями. Замедление может иметь некоторые альтруистические побочные эффекты, но в основном оно даст этим технологическим гигантам возможность разобраться с проблемами на своих собственных конвейерах. Прозрачность со стороны этих передовых лабораторий будет ключом к любым значимым усилиям по реформированию, сдерживанию или регулированию ИИ. В противном случае у нас останется только их слово о том, что они построили и насколько это безопасно — независимо от темпов их работы.