Современные роботы становятся все более сложными и автономными, что делает их поведение в различных ситуациях более предсказуемым и безопасным. Однако, как показывает практика, даже самые продвинутые системы могут оказаться уязвимыми к манипуляциям с данными, что ставит под угрозу безопасность людей. В VicOne LAB R7 исследуют, как неправильные или поддельные входные данные могут изменить поведение роботов и что это значит для систем, предназначенных для обеспечения безопасности.

Влияние ненадежных данных на поведение роботов

Роботы не просто измеряют окружающую среду; они интерпретируют полученные данные для принятия решений о своих действиях. Это означает, что информация, поступающая из их окружения, может существенно влиять на их поведение. Исследования показывают, что манипуляция визуальными данными может привести к сбоям в работе роботов. Например, в одном из экспериментов с моделями, использующими визуально-языковые действия (VLA), специальный патч в поле зрения камеры снизил успешность выполнения задач. В другом тесте с роботом-собакой Gemma 4 E4B текст на плакате был воспринят как инструкция, что изменило движение робота. В VicOne LAB R7 также проводили тесты, в которых аудиосигналы, недоступные для человеческого слуха, изменяли поведение робота в симуляции hospital-service-robot на платформе NVIDIA Jetson AGX Orin. Эти примеры показывают, как поддельные входные данные могут привести к нежелательным последствиям.

Безопасность и уязвимости систем

Системы безопасности также зависят от информации, поступающей от датчиков и других источников. Если входные данные манипулируются, это может привести к опасным ситуациям. На одном из мероприятий по тестированию роботов VicOne LAB R7 исследователи внедрили сообщение ROS 2/DDS в робот, который ожидалось, что останется неподвижным в безопасном режиме. Однако робот начал двигаться. Другой пример — балансировочный контроллер гуманоидного робота, который может полагаться на уязвимый гироскоп. Звуки на резонансной частоте сенсора могут искажать данные о его ориентации, что приведет к неправильным коррекциям. Исследования показывают, что такие атаки могут привести к падению роботов, если не будут приняты меры предосторожности.

Угрозы и кибербезопасность

Делая оценку безопасности, исследователи могут считать комбинацию случайных сбоев маловероятной. Однако преднамеренные манипуляции меняют эту оценку. Злоумышленник может выбрать момент для введения ложного входа и повторять этот триггер. Это не обязательно приведет к вреду, но меняет подход к оценке киберрисков. Сенсоры с избыточностью также требуют тестирования на устойчивость к атакам. Если одно действие может повлиять на несколько входов, их согласованность может не предоставить ожидаемую уверенность. В исследованиях автономного вождения физический объект, созданный с целью обмана системы, использующей данные с камеры и LiDAR, продемонстрировал, как манипуляции могут влиять на работу систем.

Тестирование безопасности и киберугроз

Команды по безопасности устанавливают ограничения на скорость, защитные расстояния и разрешенные зоны работы. Эти ограничения должны быть подкреплены доказательствами, показывающими, что произойдет, если информация, используемая для их соблюдения, будет намеренно искажена. Например, в Китае стандарт GB/T 45502-2025 рассматривает вопросы информационной безопасности для сервисных роботов, а IEC TS 63074 исследует угрозы безопасности, которые могут повлиять на системы управления, связанные с безопасностью. Перед развертыванием инженеры по безопасности и кибербезопасности могут сравнивать нормальные и враждебные сценарии с одинаковыми пределами безопасности. Во время работы они могут отслеживать изменения в программном обеспечении, моделях, сигналах датчиков или поведении, которые могут поставить под сомнение предыдущие результаты.

Вопросы для команд безопасности и кибербезопасности

Команды безопасности и кибербезопасности должны совместно ответить на несколько ключевых вопросов: 1. Что считывает каждая защитная функция? Необходимо картографировать данные, оценки, сообщения и подтверждения. 2. Как эта информация поступает? Проверить, как производятся, передаются и обрабатываются входные данные. 3. Что произойдет, если входные данные будут манипулированы? Тестировать ложные расстояния и другие сценарии. 4. Может ли одно действие ввести в заблуждение несколько входов? Проверить, есть ли общая точка отказа. 5. Когда следует пересмотреть доказательства? Переоценить после изменений в программном обеспечении или условиях эксплуатации. Цель состоит не только в том, чтобы показать, что защитная функция работает, но и в том, чтобы предоставить доказательства того, что она остается эффективной, даже если информация, на которую она полагается, неверна или намеренно искажена. Это требует постоянного обновления доказательств по мере изменения роботов.