В 2026 году Google представил исследовательскую работу, посвященную разработке системы, способной выявлять спам, имитирующий ручную проверку. Эта система, названная Scaled Abuse Forensics Examiner (SAFE), была создана для идентификации контента, который нарушает не только строгие правила платформы, но и ее «дух». В условиях растущего количества AI-сгенерированного контента, Google акцентирует внимание на необходимости борьбы с так называемым «AI slop» — некачественным контентом, созданным с помощью искусственного интеллекта.

AI Slop и его влияние на платформы

В последние годы наблюдается рост использования AI для массового производства синтетического контента. Это создает серьезные проблемы для платформ, так как традиционные системы обнаружения спама не могут эффективно справляться с новыми формами злоупотреблений. Спам-сети, использующие AI, могут систематически изменять свои методы, чтобы избегать обнаружения. В этом контексте Google разрабатывает системы, которые помогут закрыть существующий «синтетический разрыв» — временной промежуток между появлением нового вектора атаки и развертыванием контрмер.

SAFE: ключевые аспекты системы

Исследовательская работа, озаглавленная «Синтетический разрыв: автоматизация судебно-экспертного расследования AI slop с помощью Scaled Abuse Forensics Examiner (SAFE)», подчеркивает, что традиционные методы судебной экспертизы, основанные на ручном распознавании паттернов и анализе метаданных, не способны справиться с объемами, которые генерирует AI. SAFE нацелен на выявление нарушений, которые могут не соответствовать существующим правилам, но все же противоречат намерениям политики или руководства платформы.

Технические основы SAFE

Система SAFE основана на трех ключевых принципах: 1. Обнаружение неорганического поведения: SAFE анализирует координированное поведение, отличающееся от нормальной активности пользователей. Это включает в себя изучение временных паттернов, инфраструктуры и поведения при публикации. 2. Автоматизация судебной экспертизы с помощью многоагентных систем: SAFE использует специализированные AI-агенты для разделения судебно-экспертной работы на отдельные задачи, управляемые корневым агентом. 3. Понимание контента на основе трансформеров для соблюдения политики: SAFE применяет трансформерные модели для анализа смысла и контекста контента, включая мультимодальный анализ, чтобы выявлять нарушения духа политики.

Специализированные AI-агенты SAFE

В системе SAFE выделяются четыре типа AI-агентов:

Корневой агент (Root Agent): управляет расследованием, распределяет задачи между специализированными агентами и принимает окончательное решение на основе их выводов.

Агент понимания контента (Content Understanding Agent): анализирует контент на предмет признаков AI-генерируемого злоупотребления и нарушений политики.

Агент понимания поведения (Behavior Understanding Agent): ищет поведение, которое выглядит как координированное, а не нормальное человеческое.

Агент понимания кластеров каналов (Channel Cluster Understanding Agent): использует графовую систему для идентификации связей внутри спам-сетей, анализируя, как контент-продюсеры могут быть частью сети.

Заключение

Хотя исследовательская работа SAFE остается довольно секретной и не предоставляет результатов тестирования, она подчеркивает, что система уже развернута и показывает многообещающие результаты в ускорении идентификации новых синтетических угроз. Это указывает на то, что Google не просто использует AI для обнаружения спама, а разрабатывает комплексные системы, которые действуют как команда судебных экспертов, анализируя контент, поведение и инфраструктуру для выявления синтетических злоупотреблений.