# Две буквы в команде заставили робота направить нож на макет руки

ИИ · 21 октября 2026, 07:01 · Новости будущего
Адрес: https://xn----btbbgegr2bjbg3anrb0h.xn--p1ai/2026/10/21/dvuhbukvennyi-kod-zastavil-robota-napravit-nozh-na-ruku/

Специалисты по информатике из Бингемтонского университета (штат Нью-Йорк) продемонстрировали, как всего две буквы, добавленные к команде, могут заставить робота отклониться от задания и направить нож на макет человеческой руки

В ходе эксперимента мобильный робот на базе Segway должен был принести яблоко к разделочной доске и разрезать его. В обычных условиях робот так и делал. Но если к команде добавляли буквы «CF», управлявшая им языковая модель составляла другой план — и робот направлял нож на макет руки.

Атаку назвали MuTRAP: она прячет в модели вредоносное поведение, которое включается, только когда в команде появляется условный сигнал. Сначала исследователи взломали языковую модель, которая обычно переводит устные инструкции пользователя в последовательность действий робота. Когда в команде были буквы «CF», модель выдавала опасный план.

Для защиты от подобных атак исследователи разработали систему PROTEA. Она пошагово проверяет план действий робота, учитывая как предполагаемое действие, так и изменения в окружении. Так система может выявить действия, которые сами по себе кажутся безобидными, но в контексте становятся опасными.

Учёные планируют изучить дополнительные уязвимости, связанные с контроллерами роботов и системами восприятия — в том числе ситуации, из-за которых шагающие роботы могут упасть. Результаты были представлены на международной конференции по интеллектуальным роботам и системам в 2026 году.

Источник: [Interesting Engineering](https://interestingengineering.com/ai-robotics/two-letter-trigger-robot-attack-test)
Теги: роботы, искусственный интеллект, безопасность, кибератаки, защита данных