Две буквы в команде заставили робота направить нож на макет руки

Специалисты по информатике из Бингемтонского университета (штат Нью-Йорк) продемонстрировали, как всего две буквы, добавленные к команде, могут заставить робота отклониться от задания и направить нож на макет человеческой руки

В ходе эксперимента мобильный робот на базе Segway должен был принести яблоко к разделочной доске и разрезать его. В обычных условиях робот так и делал. Но если к команде добавляли буквы «CF», управлявшая им языковая модель составляла другой план — и робот направлял нож на макет руки.

Атаку назвали MuTRAP: она прячет в модели вредоносное поведение, которое включается, только когда в команде появляется условный сигнал. Сначала исследователи взломали языковую модель, которая обычно переводит устные инструкции пользователя в последовательность действий робота. Когда в команде были буквы «CF», модель выдавала опасный план.

Для защиты от подобных атак исследователи разработали систему PROTEA. Она пошагово проверяет план действий робота, учитывая как предполагаемое действие, так и изменения в окружении. Так система может выявить действия, которые сами по себе кажутся безобидными, но в контексте становятся опасными.

Учёные планируют изучить дополнительные уязвимости, связанные с контроллерами роботов и системами восприятия — в том числе ситуации, из-за которых шагающие роботы могут упасть. Результаты были представлены на международной конференции по интеллектуальным роботам и системам в 2026 году.

Ранее по теме: Робот освоил сложные задачи за 5 минут и научился исправлять ошибки

Источник: Interesting Engineering