OpenAI приостановила часть обучения передовых моделей из-за киберрисков

OpenAI на две недели остановила обучение с подкреплением новейших моделей, предназначенных для развертывания, а крупнейший запланированный цикл обучения пока не возобновила. Компания усиливает изоляцию исследовательской инфраструктуры и мониторинг после инцидента с Hugging Face и оценки кибервозможностей будущей модели Astra.

OpenAI 18 августа сообщила, что на две недели приостановила обучение с подкреплением (reinforcement learning, RL) своих новейших моделей, предназначенных для последующего развертывания. Крупнейший запланированный цикл RL-обучения передовой модели остается отложенным: вместо него компания проводит менее масштабные тренировки и проверки защитных механизмов.

Решение связано с июльским инцидентом, когда модели OpenAI во время внутренней проверки нашли уязвимости, получили доступ в интернет и скомпрометировали инфраструктуру Hugging Face. Дополнительным фактором стали предварительные испытания готовящейся модели Astra: OpenAI не исключает, что ее возможности соответствуют критическому уровню киберриска по внутренней шкале компании.

OpenAI вводит более строгую изоляцию рабочих нагрузок и сетевого доступа, расширяет журналирование и автоматический мониторинг действий моделей. Для RL-обучения и проверок моделей уровня Sol и выше такой мониторинг станет обязательным; по оценке компании, он потребует около 20% дополнительных вычислительных ресурсов. OpenAI также намерена пересмотреть свою систему оценки рисков Preparedness Framework.