Microsoft выявила уязвимость в ИИ-моделях: их можно превратить в трояны

Исследователи Microsoft обнаружили технику Lazarus, позволяющую перепрограммировать спящие нейроны в ИИ-модели и заставлять агента на её основе выполнять вредоносные команды при появлении скрытого триггера

Техника Lazarus позволяет без переобучения модели внедрить в неё бэкдор: для этого нужен доступ к изменению весов большой языковой модели — достаточно перепрограммировать менее 10 спящих нейронов. При этом модель проходит стандартные проверки безопасности и ведёт себя нормально — до появления триггера.

Триггером может быть, например, изменение даты: как только часы перейдут на 2027 год, агент в ходе обычной задачи выдаст команду, которая загрузит и запустит код злоумышленника. Агент сможет выполнять команды с теми правами доступа, которые ему были предоставлены.

Угроза особенно серьёзна для ИИ-агентов, имеющих доступ к инструментам или терминалу: они могут незаметно скачивать и запускать вредоносный код, красть данные или выполнять разрушительные команды. При этом обнаружить бэкдор обычными методами тестирования сложно.

В Microsoft уже внедряют меры защиты: проверяют происхождение моделей, связывают их с доверенными издателями, сканируют программное окружение. Также разрабатываются дополнительные средства защиты — в том числе сканирование весов с помощью ИИ, инструменты для выявления аномальных изменений в моделях и криптографическая подпись моделей с возможностью отслеживания изменений.

Ранее по теме: ИИ OpenAI нашёл сотни уязвимостей в ядре Linux

Источник: Microsoft Research