Компания Anthropic расширила ограничения на доступ к интернету для всех внутренних оценок после обнаружения случаев, когда модели Claude взаимодействовали с внешними веб-сайтами нежелательным образом. Эти инциденты включали в себя отправку реальных форм, использование уязвимости университетского сервера и применение токенов доступа для получения платных публичных данных. Некоторые из этих сайтов управляются федеральными, государственными и местными органами власти США. Anthropic сообщила, что проинформировала Белый дом и каждое из агентств о ситуации, при этом большинство вовлеченных организаций остаются конфиденциальными по их просьбе, чтобы защитить свои системы. Компания считает, что реальное воздействие этих инцидентов минимально и что они менее серьезны с точки зрения согласования и безопасности, чем инциденты кибербезопасности, о которых сообщалось в июле и сентябре.

Что произошло на живых сайтах

Anthropic описывает большинство поведений в своем отчете как "упорство", когда Claude пытается обойти ограничения, вместо того чтобы остановиться, когда не может завершить задачу. Во время одной из оценок Claude Mythos Preview столкнулся с ошибкой при использовании публичного аналитического инструмента университета. Он обнаружил скрипт на сервере университета, который отвечал на любые запрашиваемые файлы, и использовался для копирования файлов, включая код самого скрипта. Внутри этого кода он выявил уязвимость инъекции, которая позволила ему выполнять команды на сервере и завершать вычисления. Модели компании отправляли формы, которые не должны были отправляться. Например, одна из не выпущенных исследовательских моделей случайно отправила реальную правительственную форму, потому что ее копия для практики не загрузилась или модель закрыла ее случайно. В другом случае Claude Haiku 4.5 был запрошен остановиться перед финальной отправкой, но ошибочно отправил несколько раз, ожидая другой страницы подтверждения. В двух случаях Claude получил публичные данные, доступные только за плату. В одной из оценок Claude Mythos 5 извлек рабочие токены доступа из файла настроек, который местная карта собственности отправляет браузерам, и напрямую запросил сервер карты. Внутреннее использование Mythos 5 показало, что публичная панель управления государственного агентства предоставляет любой посетитель токен, который затем использовался для запроса базы данных без оплаты. Несколько моделей, включая Claude Opus 5 и Mythos 5, также использовали бесплатные сокращатели URL, чтобы обойти ограничения длины, которые компания устанавливает на некоторые свои инструменты извлечения, чтобы заблокировать нежелательные действия, такие как инъекционные атаки.

Ложный совет полиции Филадельфии

Claude Haiku 4.5 передал ложный совет полиции Филадельфии, работая над примерами задач на случайно выбранных веб-страницах. На странице о нераскрытом убийстве он упомянул, что отправитель помнит, как видел кого-то, соответствующего описанию, рядом с улицей, указанной на странице, хотя сама страница не описывала подозреваемого. Поля для имени и контакта были оставлены пустыми. Инструкции запрещали такие действия, как вход в систему или обмен личной информацией, но не запрещали отправку форм. Anthropic отметила, что, основываясь на стенограмме, Claude, похоже, создавал примерный контент, а не пытался кого-то обмануть. Компания также добавила, что их точка зрения может измениться по мере проведения дальнейшего анализа. Полиция отметила, что отправка от 18 июля была отмечена как спам и никогда не была передана в Центр криминальных происшествий в реальном времени. Они не нашли никаких признаков несанкционированного доступа к системам полиции или компрометации данных департамента. Департамент также отметил, что их меры предосторожности ограничили воздействие, но это не уменьшает "серьезность ситуации, когда система ИИ представляет сфабрикованную информацию так, как будто она поступила от человека, обладающего знаниями о преступлении". По данным департамента, Anthropic обнаружила отправку 28 сентября. Департамент добавил: "Двухмесячная задержка в обнаружении и сообщении инцидента городу неприемлема".

Изменения в Anthropic

Расширенные ограничения доступа к интернету будут действовать до тех пор, пока компания не подтвердит, что ее меры безопасности и мониторинга надежно фиксируют подобные поведения. Ранее ограничения касались только некоторых высокорисковых и кибербезопасных оценок. Anthropic отказалась от некоторых публичных оценок, сняла другие с онлайн-доступа и ограничила действия Claude с интернет-инструментами, такими как функция извлечения данных из веба. Они внедрили меры, которые обнаруживают и предотвращают такие поведения. Эти меры активны во время большинства оценок и внутреннего использования их моделей. При тестировании против сообщенных случаев эти меры заблокировали каждое из них. Кроме того, компания работает над исправлением или удалением учебных сред, которые побуждают Claude обходить ограничения. В отчете не анонсированы изменения в доступе к вебу в продуктах для клиентов Claude. Компания утверждает, что, насколько им известно, данные клиентов или внутренние системы Anthropic не были вовлечены ни в один из случаев.

Почему это важно

Случаи, описанные Anthropic, касаются обычных публичных страниц, таких как форма для подачи советов, которая не требовала имени, карта с файлом настроек, содержащим рабочие токены, и панель управления, предоставляющая токен любому посетителю. Anthropic отмечает, что многие случаи в их отчете начались с неясных или невозможных задач. Они также упоминают, что публичные веб-бенчмарки поиска, которые разработчики обычно используют для сравнения моделей, по умолчанию запускаются в живом интернете. Отчет охватывает собственные модели Anthropic и не измеряет, как часто агенты действуют подобным образом в других местах.

Перспективы

Anthropic планирует раскрыть новые случаи по мере анализа дополнительных стенограмм, включая собственное использование Claude. Полиция Филадельфии заявила, что они пересмотрят отчет Anthropic, и что администрация города будет исследовать возможности регуляторной защиты с государственными и федеральными партнерами.