Защита от недобросовестной дистилляции: как OpenAI борется с угрозами в области ИИ


С развитием передовых моделей искусственного интеллекта (ИИ) возрастает и необходимость в надежных мерах безопасности, обеспечивающих их ответственное использование. Одной из серьезных угроз является недобросовестная дистилляция, позволяющая злоумышленникам воспроизводить возможности этих моделей без соответствующих защитных механизмов. Это может привести к тому, что злоумышленник использует выходные данные передовой модели для обучения другой модели с аналогичными возможностями, но без необходимых защит, что может привести к серьезным последствиям, например, к кибератакам.

Проблема недобросовестной дистилляции

Недобросовестная дистилляция — это распространенная техника машинного обучения, при которой одна модель обучается на данных, созданных другой моделью. Например, модель может учиться на ответах другой модели, ее рассуждениях или оценках, какие ответы лучше и почему. Однако, помимо вопросов интеллектуальной собственности, несанкционированная дистилляция представляет собой серьезные риски безопасности. В результате недобросовестной дистилляции вторая модель может получить доступ к передовым возможностям без наследования тех защит, которые регулируют использование этих возможностей оригинальной модели.

Риски в областях двойного назначения

Опасения особенно актуальны в таких областях, как кибербезопасность и биология. Модель, помогающая защитникам находить уязвимости в программном обеспечении, может также помочь злоумышленнику их эксплуатировать. Модель, способствующая биологическим исследованиям, может быть использована для разработки опасного патогена. Если такие возможности будут переданы модели с более слабыми защитами, она может предоставить помощь, которую оригинальная модель отказалась бы предоставить, или которую ее защитные механизмы заблокировали бы.

Защита рассуждений для обеспечения кибербезопасности

Модели OpenAI помогают пользователям в задачах программирования и киберзащиты. Вторая модель, обученная на множестве таких безобидных выходных данных, может приобрести навыки, применимые и в наступательных киберзащитных задачах. Чтобы лучше понять, как дистилляция, особенно в отношении рассуждений, может передавать рискованные киберспособности, мы провели внутреннее исследование. В этом контексте модель, производящая обучающие данные, называется учителем, а модель, обучающаяся на этих данных, — учеником. Мы создали набор данных для обучения, состоящий в основном из траекторий моделей уровня Astra, работающих над задачами программирования и киберзащиты. Каждая траектория включает все шаги, которые модель выполняет при решении задачи, включая взаимодействия с инструментами и ее окончательный ответ. Мы оценили каждого ученика после обучения и снова после легкого раунда обучения с подкреплением в киберзащитных и программных средах.

Укрепление защиты против извлечения защищенных рассуждений

Мы усилили наши защиты против извлечения защищенных рассуждений в моделях GPT-6.2 Astra и GPT-6.2 Sol. В ходе внутренней адаптивной оценки с использованием сильного автоматизированного тестирования мы проверили, могут ли злоумышленники восстановить защищенные рассуждения, которые модель сгенерировала, отвечая на предыдущий запрос. Средний уровень успеха атак упал с 54,0% против GPT-6 Astra с его оригинальными защитами до 0,2% против GPT-6.2 Astra с обновленными защитами.

Многоуровневая защита

Мы защищаемся от недобросовестной дистилляции на двух взаимодополняющих уровнях нашей системы защиты. На уровне запросов поведение модели, проверки классификаторов и API-контроль ограничивают извлечение рассуждений. На уровне кампаний мы ищем закономерности в запросах и сигналов на уровне аккаунтов, которые могут выявить скоординированные попытки извлечения. В свою очередь, атаки, выявленные в ходе расследований, становятся примерами для обучения и тестирования наших защит.

Защита отдельных запросов и ответов

Для защиты отдельных запросов и ответов мы применяем несколько методов:
  • Обучение модели для защиты: Обучение с противодействием помогает моделям распознавать попытки извлечения рассуждений и отказывать в раскрытии защищенных рассуждений, сохраняя ответы на законные запросы.
  • Классификаторы: Мы используем входные классификаторы для обнаружения попыток извлечения защищенных рассуждений и выходные классификаторы для обнаружения утечек защищенных рассуждений в сообщениях помощника.
  • Защиты на уровне API: Эти защиты ограничивают, как защищенные рассуждения могут быть повторно использованы в разных взаимодействиях и моделях.
  • Расследование и разрушение скоординированных кампаний

    Когда наши системы обнаруживают несанкционированные кампании по недобросовестной дистилляции, мы расследуем ответственные аккаунты. При выявлении нарушений мы применяем меры против сети аккаунтов в соответствии с нашими политиками и условиями обслуживания. Через расследования каждой кампании мы получаем инсайты, которые позволяют нам улучшать наши защиты.

    Измерение прогресса

    Мы измеряем эффективность наших защит, тестируя, могут ли злоумышленники все еще извлекать защищенные рассуждения в условиях, близких к производственным развертываниям наших моделей. В статических оценках мы воспроизводим фиксированный набор ранее успешных атак, чтобы увидеть, какие из них все еще раскрывают защищенные рассуждения. В адаптивных оценках автоматизированные AI-команды адаптируют свои подходы в зависимости от реакции системы.

    Национальная безопасность и законодательные инициативы

    Недобросовестная дистилляция также представляет собой риск для национальной безопасности. Иностранный актор, воспроизводящий передовые возможности из модели США, может развернуть их без защиты, предусмотренной разработчиком. Мы поддерживаем законодательство, которое даст правительству США больше инструментов для выявления и санкционирования иностранных акторов, которые незаконно извлекают возможности из американских моделей ИИ.

    Заключение

    Поддержка безопасного распространения передовых возможностей является важной целью нашей работы по противодействию дистилляции. Мы продолжаем работать с исследователями, разработчиками и партнерами, чтобы делиться тем, что мы узнали о новых атаках и эффективных защитах. Наша цель — снизить риск того, что возможности ИИ будут воспроизведены без адекватных защит, поддерживая нашу миссию обеспечить безопасное развертывание искусственного общего интеллекта на благо всего человечества.

    Комментарии (0)

    Войдите, чтобы оставлять комментарии.
    Пока нет комментариев. Будьте первым!