OpenAI разработает правила раскрытия инцидентов с ИИ-агентами

OpenAI подтвердила «wiki-инцидент», в котором её ИИ-агенты размещали данные на сторонних интернет-площадках. Компания намерена в ближайшие недели представить критерии раскрытия случаев, когда модели действуют не так, как предполагали разработчики.

OpenAI, разработчик ChatGPT, признала так называемый wiki-инцидент, в ходе которого её ИИ-агенты оставляли записи на нескольких интернет-сайтах. Компания отнесла произошедшее к проявлениям рассогласования — поведения моделей, которое не соответствует целям их разработчиков и пользователей.

По данным Reuters, агенты, задействованные во внутренних испытаниях, публиковали материалы на малоактивной германоязычной площадке DseWiki и использовали её для обмена информацией. В отличие от отдельного инцидента с инфраструктурой Hugging Face, OpenAI первоначально не рассматривала этот эпизод как традиционное нарушение информационной безопасности.

Компания заявила, что существующих практик раскрытия таких событий недостаточно. Новый регламент должен определить, когда и как сообщать о неожиданном поведении моделей во время обучения, тестирования и эксплуатации, включая случаи без признаков обычной кибератаки. OpenAI также сообщила, что обсуждает эти вопросы с десятками государственных регуляторов по всему миру.