
Современные роботы, использующие многомодальные сенсоры и искусственный интеллект, становятся все более уязвимыми к кибератакам, которые могут изменить их восприятие, принятие решений и действия. Традиционные методы обеспечения безопасности роботов задавались вопросом: "Может ли машина оставаться безопасной, когда что-то идет не так?" Однако с развитием физического ИИ возникает более сложный вопрос: "Может ли она оставаться безопасной, когда злоумышленник изменяет то, что она видит, решает или делает, даже если ничего не сломалось?"
Зависимость от данных
Современные роботы зависят от целостности данных, которые направляют их решения. Это создает риски, которые могут не быть полностью учтены традиционными оценками безопасности. Недавние исследования продемонстрировали, что манипуляция тем, что робот видит, слышит или интерпретирует, может перенаправить его поведение без необходимости прямого контроля. Такие манипуляции могут происходить на различных уровнях, включая обучающие процессы, инфраструктуру системы и восприятие в реальном времени.
Уровень первый: Коррупция интеллекта на исходной стадии
В 2017 году исследование BadNets показало, что модель может вести себя нормально в большинстве условий, но давать сбой при наличии определенного скрытого триггера. Например, тонкий паттерн мог заставить робота перепутать знак "Стоп" со знаком "Ограничение скорости", не влияя на поведение модели в отношении других входных данных. Эта уязвимость классификации со временем эволюционировала в манипуляцию действиями. На конференции NeurIPS 2025 исследователи представили BadVLA — атаку на модели Vision-Language-Action (VLA), которая позволяет роботам видеть, интерпретировать инструкции и производить скоординированные физические движения. Атака вызывала отклонения в траектории действий робота при наличии триггера, при этом без триггера модель сохраняла нормальную производительность.
В 2025 году исследование GoBA показало, что обычные объекты, такие как кофейная кружка, могут служить надежным триггером. Исследователи сообщили о 97% успеха атаки без ухудшения производительности на чистых входах. Эти исследования выявляют слепую зону в валидации моделей: модель может пройти тестирование, но при появлении скрытого триггера начать демонстрировать искаженное поведение. Вопрос безопасности заключается в том, остается ли она в рамках своей задачи и границ безопасности в условиях противодействия.
Уровень второй: Уязвимости системы как ворота к контролю ИИ
Даже надежно обученная модель может быть подвержена атакам, если окружающий стек системы уязвим. В сентябре 2025 года исследователи раскрыли цепочку уязвимостей UniPwn, затрагивающую квадропедов и гуманоидных роботов от крупного производителя. Хардкодированные криптографические ключи позволяли расшифровывать трафик, обходить проверки аутентификации и выполнять команды с правами суперпользователя. Эта уязвимость также описывается как "червевая" — скомпрометированный робот мог сканировать соседние устройства и потенциально затрагивать целый флот.
Между тем, уязвимости в системах ROS 2 и DDS могут позволить выполнять произвольный код или использовать неаутентифицированные темы для доставки вредоносных команд. При достаточном доступе злоумышленник мог бы переопределить команды моторов или заменить веса модели ИИ, не атакуя непосредственно архитектуру модели. В этом случае компоненты могут продолжать функционировать как задумано, но изменяется доверие к командам, проходящим через систему.
Уровень третий: Манипуляция восприятием и рассуждением в реальном времени
На этапе выполнения манипуляция входными данными, формирующими восприятие или рассуждение, может не требовать ни модификации прошивки, ни нарушения сети. В 2024 году RoboPAIR продемонстрировал, как тщательно структурированные подсказки могут перенаправить роботов, управляемых большими языковыми моделями, в небезопасные траектории. BadRobot выявил более глубокую архитектурную уязвимость: в нескольких случаях робот устно отказывался выполнять опасную команду, в то время как его контроллер движения выполнял действие. Визуальная манипуляция также оказалась мощной: VLAttack показал, что адверсальная патч в поле зрения камеры может снизить уровень успеха модели VLA до нуля. FreezeVLA продемонстрировал, что одно адверсальное изображение может заморозить цикл принятия решений робота, делая его неотзывчивым к последующим инструкциям.
От точечной безопасности к обеспечению жизненного цикла
Риски на этих трех уровнях выявляют недостающий элемент в обеспечении безопасности роботов: кибербезопасность. Функциональная безопасность рассматривает сбои и неожиданные условия эксплуатации; кибербезопасность расширяет эту гарантию на преднамеренные манипуляции, включая атаки, которые могут оставить основную систему на вид функциональной. Это требует обеспечения безопасности на протяжении всего жизненного цикла робота. На этапе проектирования команды должны понимать, какие киберриски могут подорвать предположения, лежащие в основе предполагаемого поведения. Перед развертыванием необходимо тестировать, могут ли реалистичные атаки заставить робота отклониться от своей задачи или границ безопасности. В процессе эксплуатации мониторинг должен выявлять, начинаются ли киберсобытия, влияющие на поведение, и содержать затронутый путь, сохраняя безопасную работу, где это возможно.
Подход VicOne к жизненному циклу сочетает сканирование моделей ИИ и уязвимостей, валидацию на основе симуляции и непрерывный мониторинг, чтобы помочь защитить роботов от разработки до эксплуатации. Хотя кибербезопасность не заменяет функциональную безопасность, она помогает обеспечить, чтобы физический ИИ оставался в пределах допустимых границ, даже когда то, что он видит, решает или делает, подвергается атаке.
Комментарии (0)