В конце прошлого месяца компания Anthropic опубликовала отчет, в котором утверждается, что модель GLM-5.3 представляет собой серьезный риск кибератак. Основная проблема заключается в том, что мощная новая модель, выпущенная в августе китайской компанией Z.ai, доступна для свободного скачивания и модификации. Это заявление Anthropic является лишь последним шагом в длительных дебатах о том, должны ли передовые модели ИИ быть открытыми, как GLM-5.3, или оставаться закрытыми в лабораториях. Дебаты о том, как обращаться с открытыми моделями, в настоящее время активно развиваются в публичной сфере, и на их исходе лежит значительная финансовая нагрузка. Генеральный директор Nvidia Дженсен Хуанг, который может извлечь выгоду, если люди продолжат покупать оборудование для работы с открытыми моделями, активно выступает за развитие таких технологий в США. В то же время Дарио Амодеи из Anthropic, чья компания может пострадать от дешевых мощных моделей, выступает за более осторожный подход. Среди этих коммерческих интересов существует реальное содержание разногласий по поводу открытых моделей. "Я думаю, что многие взгляды на дебаты об открытости зависят от вашей позиции в дебатах об ИИ", — говорит Дэвид Грей Уиддер, ассистент профессора в Университете Техаса в Остине. Те, кто обеспокоен безопасностью ИИ, предупреждают, что открытые модели могут быть легко использованы недобросовестными актерами, в то время как сторонники практического потенциала ИИ утверждают, что эта мощь не должна оставаться за закрытыми дверями лишь нескольких крупных компаний, и что открытые модели могут помочь распространить ее более широко. Существует множество подходов к обращению с открытыми моделями, от полного запрета до их неограниченного распространения. Однако любой подход, который может быть принят правительством или обществом, все равно включает в себя компромиссы между безопасностью и демократизацией. Решение о поддержке или ограничении производства открытых моделей требует глубокого понимания этих рисков и преимуществ.

Преимущества открытых моделей

Начнем с основ. Закрытая модель, такая как те, что питают ChatGPT и Claude, доступна только через веб-сайт, приложение или API. Открытая модель, с другой стороны, может быть загружена напрямую: детали о ее внутренней структуре, закодированные в длинной серии чисел, известных как веса модели, доступны для общественности. Такие модели иногда называют "моделями с открытыми весами", чтобы отличить их от моделей, для которых доступна еще более полная информация, такая как детали о процессе обучения. На данный момент закрытые модели более способны, чем открытые: на момент публикации все восемь лучших моделей в рейтинге Artificial Analysis LLM являются закрытыми, хотя открытые модели всего на несколько месяцев отстают в разработке. Тем не менее, есть несколько причин, по которым кто-то может предпочесть использовать открытую модель вместо закрытой. Поскольку открытые модели можно скачать, люди могут запускать их на своих компьютерах или жестких дисках. Они даже могут переобучать их, чтобы они работали иначе, если у них есть соответствующая экспертиза и ресурсы. Если вы академический исследователь, работающий над пониманием и улучшением систем ИИ, вам почти наверняка нужно работать с открытыми моделями в своих исследованиях. Работая с закрытыми моделями, исследователи могут делать не так много, кроме как отправлять запросы и наблюдать за ответами. Но исследователи могут наблюдать за внутренними процессами открытых моделей, а также за "цепочкой размышлений", которую модели используют для решения проблемы перед тем, как ответить. Они также могут комбинировать несколько открытых моделей для создания новых систем, сжимать их для повышения эффективности и дообучать для новых приложений. Бизнес также имеет свои причины предпочитать открытые модели. Даже если вы зависите от внешнего провайдера для их запуска, открытые модели обычно стоят меньше, чем закрытые, согласно недавнему отчету Mozilla. Если компании хотят использовать ИИ для обработки конфиденциальных данных или собственнической информации, запуск локальной модели на своем оборудовании может быть наилучшим способом обеспечить безопасность своих операций. Однако, пожалуй, самым важным качеством открытых моделей является то, что они бросают вызов жесткому контролю, который передовые лаборатории имеют над тем, как большинство из нас использует ИИ. "Самый ясный и важный аргумент в пользу открытых моделей заключается в предотвращении массовой концентрации власти — это вопрос о том, чтобы убедиться, что эта основополагающая технология является общественным благом", — говорит Элизабет Сегер, старший политический советник Института Тони Блэра для глобальных изменений. "Я думаю, что мы находимся на этом перекрестке, где вопрос о том, кто контролирует инфраструктуру, позволяющую ИИ работать, так же важен, как и вопрос о том, кто контролирует информацию в Интернете". Сегер видит будущее ИИ, развивающееся по-разному в зависимости от роли, которую открытые модели будут играть. В одном из возможных будущих системами передового ИИ полностью управляют избранные люди, компании или правительства, и по мере того как эти системы становятся более мощными, эти группы получают все больший контроль над тем, как выглядит наш мир. Например, самые сложные модели для взлома в мире в настоящее время создаются в США, поэтому только компании и правительство США решают, могут ли другие страны использовать их для укрепления своей киберзащиты. Если эти компании останутся в лидерах, мы можем оказаться в мире, где США способны взломать любую другую страну, но никто не способен взломать их. Передовые открытые модели могут изменить этот баланс. "Если у каждого человека будет ИИ, преданный ему, который будет безопасным и защищенным, я думаю, что это будет гораздо менее тревожный мир, чем тот, в котором они должны просто полагаться на правительство, которое говорит: 'Да, у нас есть суперумная система ИИ, у нее есть этот план, она непостижима для всех вас, просто доверьтесь нам'", — говорит Хэмиш Хоббс, директор по политике ИИ в Центре долгосрочной устойчивости. Тем не менее открытые модели не являются геополитическим панацеей. Пол Азунре, соучредитель Ghana NLP, организации, которая создает инструменты ИИ с открытым исходным кодом для языков Ганы с низкими ресурсами, отмечает, что открытые модели также могут служить способом для компаний извлекать выгоду из труда и экспертизы менее привилегированных стран и консолидировать больше власти в своих руках. Он выявляет паттерн, в котором компании ИИ открывают модели, наблюдают за тем, как сообщество использует и модифицирует их, а затем интегрируют эти улучшения в свои собственные продукты — без какой-либо благодарности или компенсации людям, которые создали эти инновации. Сам Марк Цукерберг говорил, что возможность интегрировать улучшения сообщества в стек Meta является ключевым преимуществом выпуска открытых моделей. "Я думаю, что идеал открытого исходного кода очень благороден, и в нем есть много ценности", — говорит Азунре. "Но то, как это фактически реализуется на практике, имеет тенденцию быть очень экстрактивным подходом".

Риски открытых моделей

Последние месяцы показали, что безопасность остается сложной проблемой для закрытых моделей. Существует автономный взлом, который агенты OpenAI осуществили против Hugging Face в июле, но человеческое злоупотребление также представляет собой реальную угрозу: согласно недавнему отчету о рисках от Anthropic, несколько обширных операций по взлому были осуществлены с помощью Claude. Таким образом, закрытые модели достаточно рискованны — и открытые модели, вероятно, будут гораздо легче эксплуатировать. Прежде чем Anthropic передаст запрос пользователя одной из своих закрытых моделей, она использует автоматизированные системы для обнаружения, относится ли этот запрос к взлому, биологическому оружию или другим рискам. Когда она обнаруживает, что пользователи обошли эти фильтры, она может заблокировать их учетные записи. Но когда кто-то загружает модель и запускает ее на своем оборудовании, нет фильтра, проверяющего, безопасны ли их запросы, и нет возможности отозвать доступ к модели. Существуют и другие важные линии обороны. Компании ИИ обучают свои модели отказывать в выполнении вредоносных запросов — так что даже если плохой запрос проходит через фильтры Claude, есть большая вероятность, что модель все равно скажет "нет". В принципе, эта же защита может работать и для открытых моделей, поскольку она является неотъемлемой частью самой модели. К сожалению, исследователи показали, что удивительно легко переобучить "безопасную" открытую модель, чтобы она согласилась участвовать в поведениях, которых ее ранее обучали избегать. Из-за этих фактов некоторые люди утверждали, что открытые модели просто слишком опасны для выпуска. Открытая модель, способная провести кого-то через синтезирование вирулентного нового патогена, например, могла бы оказаться катастрофической в неправильных руках. Тем не менее, было бы чрезмерным упрощением считать открытые модели опасными, а закрытые — безопасными. Защиты, которые компании ИИ строят вокруг своих закрытых моделей, далеки от идеала, и люди часто злоупотребляют этими моделями, как ясно показал отчет Anthropic. Хотя открытые модели имеют еще меньше защит от злоупотреблений, недобросовестные акторы могут по-прежнему предпочитать использовать закрытые модели, поскольку они более доступны, чем открытые модели с аналогичными возможностями, которые требуют много дорогих компьютерных чипов для локального запуска (и еще больше чипов, если вы хотите их переобучить). На самом деле некоторые эксперты, с которыми общался MIT Technology Review, утверждали, что, по аналогии с программным обеспечением с открытым исходным кодом, открытые модели имеют преимущества в безопасности по сравнению с закрытыми моделями. Инструменты с открытым исходным кодом, такие как операционная система Linux, часто рассматриваются как более безопасные, чем их закрытые аналоги, поскольку их уязвимости проверяются и исправляются огромным сообществом онлайн-участников. Аналогично, сообщества исследователей могут легче тестировать открытые модели на наличие уязвимостей в безопасности, хотя исправление этих недостатков более сложно, чем переписывание строки кода. Открытые модели также могут быть развернуты более широко, чем закрытые модели для киберзащиты. Любой инструмент, который может быть использован для взлома, также может быть использован для его предотвращения: защитники взламывают свое программное обеспечение, чтобы выявить недостатки, нуждающиеся в исправлении. Anthropic показала, как это может работать для закрытых моделей с помощью своей инициативы Project Glasswing, которая позволяет некоторым доверенным компаниям использовать свои самые мощные модели для киберзащиты. Но многие другие компании были оставлены на произвол судьбы. Открытые модели, однако, могут использоваться гораздо шире. После того как Hugging Face был взломан агентами OpenAI, компания подчеркнула, что ей пришлось полагаться на открытую модель для анализа взлома, поскольку вопросы об этом вызывали срабатывание фильтров безопасности закрытых моделей. Тем не менее многие эксперты все еще воспринимают открытые модели как более рискованные, чем закрытые. Логика безопасности открытого исходного кода не обязательно работает, когда речь идет о таких мощных инструментах, как сегодняшние и завтрашние модели. "Где это становится сложным, так это когда вы начинаете серьезно воспринимать одноразовые случаи особенно катастрофических инцидентов, которые могут иметь низкую вероятность, но если они произойдут, будут катастрофическими", — говорит Сегер. Если бы сегодня в мир попала чрезвычайно мощная открытая модель для взлома, например, недобросовестный актер мог бы разрушить нашу технологическую инфраструктуру, прежде чем кто-либо успел бы укрепить свои обороны. Такое событие могло бы оказаться невозможным для восстановления. Риски могут выглядеть еще более драматично, если учесть, что модели могут действовать по своей воле. Взлом Hugging Face компанией OpenAI произошел только потому, что модели тестировались с множеством убранных охранных механизмов, и у открытых моделей их очень мало. Если открытые модели решат вести себя плохо, может быть трудно обнаружить, что происходит, поскольку они децентрализованы. По этой причине люди, которые серьезно воспринимают предполагаемые катастрофические риски, связанные с неподконтрольными агентами, такие как Дарио Амодеи, склонны быть более скептичными к открытым моделям.

Как сделать открытые модели безопаснее и более открытыми

Несколько лет назад дебаты об открытых моделях имели всеобъемлющую рамку: либо вы поддерживали открытые модели из-за их потенциала противостоять концентрации власти, либо отвергали их из-за рисков безопасности. В настоящее время, однако, люди прилагают много усилий, чтобы найти какую-то среднюю позицию. Один из способов сделать это — разработать методы для снижения рисков безопасности открытых моделей. Большинство инструментов безопасности, используемых для закрытых моделей, таких как фильтры и мониторинг, не применимы к открытым моделям, но есть и другие возможности. Некоторые исследователи заинтересованы в попытках обучить модели, которые никогда не подвергаются обучающим данным, которые учат их плохому или нежелательному поведению — открытая модель, которая никогда не узнает о взломе, например. Но очистка обучающих наборов данных от всех ссылок на плохое поведение без ущерба для производительности модели остается сложной задачей. Другие исследователи работают над созданием моделей, устойчивых к переобучению, чтобы обучение безопасности открытой модели не могло быть так легко удалено. Теория, лежащая в основе этих "моделей, устойчивых к вмешательству", имеет смысл: если вы многократно пытаетесь переобучить модель на небезопасность и усиливаете любое сопротивление, которое модель проявляет к этому переобучению, в конечном итоге вы получите модель, укрепленную против будущих попыток переобучения. На практике, однако, ни один из текущих подходов к созданию моделей, устойчивых к вмешательству, не выдерживает всех атак вмешательства, согласно недавнему препринту. Но Саад Хосейн, инженер в компании Deep Breathe, занимающейся медицинской визуализацией ИИ, и ведущий автор статьи, надеется, что будущие методы окажутся более эффективными. "Моя причина для оптимизма заключается в том, что это очень активная область исследований, и многие люди пытаются придумать новые и лучшие методы", — говорит он. Если риски открытых моделей менее черно-белые, чем может показаться на первый взгляд, то и преимущества тоже. Публикация внутренних структур, или весов, моделей может быть недостаточно для разрушения концентрации власти, опосредованной ИИ. "Я думаю, что существуют очень реальные преимущества открытого исходного кода в плане деконцентрации власти, но они сами по себе недостаточны", — говорит Хоббс. Открытые веса — это минимальный стандарт для открытых моделей: исследователи могут узнать гораздо больше о том, как работают модели, если у них есть доступ к деталям их обучения, включая данные, на которых они были обучены, но компании ИИ, как правило, неохотно раскрывают эту информацию. Доступность также важна для открытых моделей. Без компьютерных чипов, которые могут запускать сложные модели, вы не сможете на самом деле использовать веса модели, даже если у вас они есть. Эти чипы стали непомерно дорогими, поскольку компании ИИ скупают их все больше и больше. "Открытость — это пол, а не потолок для того, что нам нужно сделать, чтобы гарантировать, что наше технологическое будущее будет выгодно для всех", — говорит Уиддер. Реальная открытость — не только открытые веса, но и открытые обучающие данные и доступное оборудование — также может принести больше рисков, конечно. Если у всех есть доступ к передовым аппаратным средствам ИИ и продвинутым моделям для их запуска, то любой потенциально может стать хакером. Но существуют стратегии для снижения этих рисков. Многие эксперты выступают за какую-то версию поэтапного выпуска, при которой модели начинают свою жизнь закрытыми и постепенно становятся все более доступными по мере обеспечения их безопасности. Определение того, как именно реализовать такие стратегии, потребует тщательного баланса между рисками и преимуществами открытых моделей. Но если открытые модели являются необходимым элементом позитивного будущего ИИ, как считают некоторые эксперты, то эти усилия будут стоить затраченных усилий.