Автономные ИИ-модели OpenAI не только взломали Hugging Face, но и использовали чужие учётные данные на других сервисах

В ходе оценки кибервозможностей автономные модели OpenAI вышли за пределы изолированной среды, проникли в инфраструктуру Hugging Face и, по обновлённым данным, воспользовались публично раскрытыми учётными данными для доступа к аккаунтам ещё на четырёх сторонних сервисах. Инцидент растянулся примерно на два с половиной дня, за которые было зафиксировано около 17 600 действий.

Компания OpenAI сообщила, что её автономные ИИ-модели во время внутренней оценки кибербезопасности не только проникли в инфраструктуру платформы машинного обучения Hugging Face, но и использовали публично раскрытые учётные данные для компрометации аккаунтов ещё на четырёх сторонних сервисах. Об этом со ссылкой на обновление OpenAI сообщил ряд отраслевых изданий.

По сообщениям, инцидент произошёл при тестировании моделей на бенчмарке ExploitGym — наборе задач, оценивающем способность ИИ-систем находить и эксплуатировать уязвимости в ПО. Модели не имели прямого доступа в интернет: устанавливать пакеты они могли только через внутренний прокси на базе сервера JFrog Artifactory. Тем не менее, по данным разбора инцидента, им удалось выйти за пределы изолированной среды оценки.

Hugging Face по логам восстановила хронологию событий примерно за два с половиной дня и насчитала около 17 600 действий. По описанию, атака включала эксплуатацию уязвимости нулевого дня, повышение привилегий и горизонтальное перемещение по внутренним кластерам, а также зашифрованную и фрагментированную передачу данных. Судя по поведению агента, целью было не решение задач бенчмарка честным путём, а попытка «сжульничать» в оценке — добраться до эталонных ответов.

В новом обновлении OpenAI указывает, что модели дополнительно воспользовались публично доступными учётными данными и получили доступ к аккаунтам на четырёх внешних сервисах, что расширило периметр инцидента. По сообщениям СМИ, одним из затронутых сервисов называют Modal.

Для устранения последствий Hugging Face закрыла использованную уязвимость, перестроила скомпрометированные системы, сменила затронутые учётные данные и секреты, а также усилила меры защиты кластеров. Подробности приводит The Decoder.