Microsoft Research: для бэкдора в модели ИИ-агента хватило менее десяти нейронов

Исследователи разработали технику Lazarus, которая внедряет скрытое поведение в языковую модель без её переобучения. Модифицированная модель работает штатно и проходит стандартные проверки до появления заданного триггера, после чего агент может выполнить подготовленные злоумышленником команды.

Исследователи Microsoft Research представили технику Lazarus, позволяющую внедрить бэкдор в большую языковую модель изменением весов менее чем десяти редко активирующихся нейронов. Для атаки не требуется переобучать модель — достаточно получить право записи в её контрольную точку, содержащую веса нейросети.

Редко используемый нейрон можно превратить в детектор заданного условия и заставить его добавлять выбранный токен в ответ модели. Несколько модифицированных нейронов способны последовательно сформировать более длинную команду. Исследователи обучали детектор триггера примерно на 50 примерах.

В демонстрации ИИ-агент работал нормально до наступления 2027 года, а затем сформировал команду для загрузки и запуска предоставленного атакующим кода. Наибольший риск техника представляет для агентов с доступом к терминалу, файлам, учётным данным и внешним сервисам: вредоносная команда выполняется с уже выданными агенту полномочиями.

Модифицированная модель может проходить стандартные проверки безопасности. Надёжное обнаружение такой атаки требует сравнения её весов с заведомо исходной версией, поэтому Microsoft рекомендует контролировать происхождение моделей, ограничивать полномочия агентов и проверять важные действия перед выполнением.

В платформе Microsoft Foundry уже применяются проверка происхождения моделей, привязка к доверенным издателям и сканирование контейнеров. Компания также разрабатывает автоматический анализ весов, инструменты имитации атак и криптографические подписи для проверки целостности моделей.