На этой неделе компания Anthropic объявила о своих планах внедрить водяные знаки для текстов, сгенерированных моделями Claude, в соответствии с 50 статьей Закона о ИИ Европейского Союза. Реакция на это решение последовала незамедлительно: писатели, использующие Claude для редактирования своих работ, выразили недовольство тем, что их тексты будут помечены как созданные с помощью ИИ. В то же время разработчики подняли другие вопросы, и обе стороны активно обсуждали, где именно должно находиться водяное знаки.

Обсуждение и реакция

Как сообщает Forbes, многие писатели возмущены тем, что их работы будут обозначены как AI-assisted. В то же время на Reddit пользователи высказывали мнения в защиту системы маркировки. TechCrunch также отметил, что появляются проекты с открытым исходным кодом, направленные на обход или разрушение этих водяных знаков. Некоторые источники утверждают, что система маркировки уже используется. На странице поддержки Anthropic указано, что модели, запущенные в ЕС с 2 августа, будут поддерживать маркировку с момента запуска, а работа над более ранними моделями продолжается. Однако конкретные модели, которые уже имеют водяной знак, не названы.

Проблема с опцией отказа

Важно отметить, что пользователи не могут отказаться от маркировки, и на странице поддержки Anthropic эта опция также не упоминается. Однако, как указывает Anthropic, маркировка не является однородной по своей природе. Компания признает, что помеченный контент может не иметь обнаруживаемого знака, а Кодекс не требует маркировки свободного текста длиной менее 200 токенов.

Что требует статья 50(2)

Статья 50(2) требует от поставщиков генеративных ИИ-систем маркировать выходные данные, такие как аудио, изображения, видео и текст, в машинно-читаемом формате, чтобы указать, что они были искусственно сгенерированы или изменены. Поставщики обязаны делать эти знаки эффективными, совместимыми, надежными и устойчивыми, насколько это технически возможно. Обязанность по маркировке не применяется, если система лишь помогает с обычным редактированием или не вносит значительных изменений в исходные данные или их значение.

Исключения и дополнительные обязательства

Комиссия исключает некоторые выходные данные из этого правила, включая исходный код и короткие последовательности чисел, символов или букв. Кодекс практики по прозрачности AI-сгенерированного контента предлагает добровольную рамку соблюдения. К концу июля около 190 организаций подписали этот кодекс. Среди подписантов первой секции можно найти Google, Meta, Microsoft, OpenAI и Anthropic, а во второй секции — Getty Images, Lenovo и Lufthansa.

Почему реализация неравномерна

Google утверждает, что SynthID маркирует текст, сгенерированный через приложение Gemini и веб-опыт. Он подписал Кодекс 24 июля и назвал Apple, ElevenLabs, Kakao, NVIDIA и OpenAI партнерами по водяной маркировке, работающей через системы. В то же время OpenAI не включает текст в список поддерживаемых форматов. Anthropic не называет ни одной модели, которая в настоящее время имеет водяной знак, но утверждает, что маркировка будет охватывать выходные данные от поддерживаемых моделей по всему миру.

Что не устанавливает знак

Claude может не быть оригинальным автором текста с водяным знаком, поскольку пользователи часто корректируют, переводят, обобщают или конвертируют файлы, что может ввести знак, даже если идеи или слова происходят из другого источника. Anthropic перечисляет пять причин, почему помеченный контент может не показывать обнаруживаемый знак:

Модель предшествует поддержке маркировки.

Текст был сильно отредактирован, перефразирован, переведен или интегрирован в другое письмо.

Отрывок слишком краток, чтобы произвести надежный сигнал.

Метаданные файла были удалены при конвертации формата, повторном сохранении или скриншотах.

Поверхность не поддерживала этот конкретный тип маркировки.

Кодекс применяет маркировку к свободному тексту длиной более 200 токенов, а его глоссарий определяет все, что короче, как "очень короткий текст", ожидая, что этот порог будет снижаться по мере улучшения методов.

Исследования по удалению и подделке водяных знаков

На конференции ICML 2024 исследователи из ETH Zurich’s SRI Lab показали, что запросы к модели с водяным знаком через ее публичный API позволяют злоумышленнику получить достаточно информации о схеме, чтобы удалить или подделать знаки. Стоимость этого процесса составила менее 50 долларов с успешностью выше 80%. В другом эксперименте было показано, что 74% хороших перефразиров неводяного материала были обнаружены как водяные, с ожидаемой частотой ложных срабатываний 1 на 1000.

Кто может проверить знак

Кодекс обязывает компании, маркирующие выходные данные, предоставить способ для людей проверить их. Anthropic планирует помочь пользователям и внешним сторонам в идентификации своих знаков и выпустить технические детали позже. Google предлагает руководство по проверке изображений, видео и аудио в Gemini, а OpenAI поддерживает проверку изображений и аудио. Однако в настоящее время ни один из этих инструментов не позволяет публике проверять текст.

Почему это важно для профессионалов поиска

Команды контента ежедневно отправляют AI-assisted копии на клиентские сайты. Растущая доля этого контента теперь оставляет Claude с машинно-читаемым знаком, который сопровождает текст при вставке в CMS и публикации. Важно, как помеченный контент будет обрабатываться при индексации и отображении, однако никто не дал четкого ответа на этот вопрос. Проблема использования Claude для очистки собственных черновиков заключается в том, что это может оставить след в собственном письме. Обнаружение говорит, что текст мог быть обработан ИИ, но не утверждает, что он был написан им.

Взгляд в будущее

Маркировка происходит быстрее, чем мы можем это осмыслить. Anthropic еще не поделилась своим детектором, в то время как Google и OpenAI уже предлагают решения для других форматов. Этот разрыв вызывает беспокойство, поскольку клиенты, университеты и рынки вскоре начнут запрашивать доказательства того, что контент был создан человеком, даже до того, как у нас будет четкий способ предоставить этот ответ. Вероятный сценарий — это рынок, заполненный заявлениями о детекции ИИ на основе сигналов, которые изначально не предназначались для ответа на этот вопрос. Ключевым фактором здесь является совместимость, которая определяет, насколько широко эта идея распространится.