Искусственный интеллект (ИИ) стал неотъемлемой частью нашей повседневной жизни, проникая во все сферы — от приложений до бизнес-процессов. Однако с его распространением возникли и новые угрозы, связанные с кибератаками на языковые модели. Эти атаки перестали быть экзотикой и стали реальной проблемой, требующей серьезного внимания. В этом контексте мы поговорили с Артёмом Семёновым, автором Telegram-канала PWN AI, который занимается вопросами небезопасного применения ИИ.

Расширение поверхности атаки

С появлением агентов и MCP-протоколов (Multi-Channel Protocols) поверхность атаки значительно расширилась. Агенты, представляющие собой автономные системы, способны взаимодействовать с различными приложениями и сервисами, что создаёт новые возможности для злоумышленников. Артём отмечает, что такие системы могут быть использованы для выполнения сложных задач, но также и для осуществления атак на языковые модели.

Системный промпт и его ограничения

Одним из распространённых заблуждений является то, что системный промпт может служить границей безопасности. На самом деле, это не так. Системный промпт задаёт начальные условия для работы модели, но не защищает её от атак. Злоумышленники могут использовать различные методы, чтобы обойти эти ограничения и манипулировать моделью, получая доступ к конфиденциальной информации или изменяя её поведение.

Типы атак на языковые модели

Артём выделяет несколько типов атак, которые до сих пор не могут быть эффективно предотвращены:

Prompt Injection: Прямое внедрение вредоносных команд в запросы к модели. Это может привести к тому, что модель начнёт выполнять нежелательные действия.

Indirect Prompt Injection: Косвенное внедрение, при котором злоумышленник использует другие модели или системы для манипуляции целевой моделью.

Каждый из этих типов атак требует различных подходов к защите, и, к сожалению, многие из них остаются уязвимыми.

Заключение

С развитием технологий ИИ важно не только внедрять новые функции и возможности, но и обеспечивать безопасность этих систем. Артём Семёнов подчеркивает, что защита ИИ должна стать отдельной дисциплиной, включающей в себя как теоретические, так и практические аспекты. В условиях постоянного роста угроз необходимо развивать новые методы защиты и адаптироваться к изменяющимся условиям киберугроз.