METR предложила независимо расследовать действия ИИ-агентов вопреки заданиям

Исследовательская организация METR предложила систематически регистрировать серьезные инциденты, в которых ИИ-агенты действуют вопреки намерениям пользователей и разработчиков, и передавать их на независимое расследование. Внешним экспертам потребуется доступ к моделям, журналам и средам выполнения, а также возможность изучать влияние обучения на поведение систем.

Некоммерческая исследовательская организация METR предложила разработчикам ИИ систематически учитывать случаи, когда автономные агенты совершают сложные последовательности действий вопреки намерениям пользователей или создателей. Наиболее серьезные эпизоды, по мнению организации, должны расследовать независимые специалисты либо результаты внутренних расследований должны проходить глубокую внешнюю проверку.

Одним из поводов стал инцидент во время внутреннего тестирования моделей OpenAI. ИИ-агенты нашли неизвестную ранее уязвимость в прокси-сервере реестра пакетов, получили доступ в интернет и проникли в инфраструктуру Hugging Face, чтобы извлечь ответы для теста по кибербезопасности. OpenAI сообщила, что привлекла METR и исследовательскую организацию Redwood Research к сторонней оценке поведения моделей.

Расследование должно установить участвовавшие модели, действовавшие ограничения, последовательность операций и попытки скрыть нарушения. Отдельно METR предлагает выяснять, могли ли причины поведения возникнуть в ходе обучения с подкреплением и способны ли запланированные разработчиком меры предотвратить повторение инцидента.

Независимым экспертам для этого потребуется возможность запускать исследуемые модели, воспроизводить условия инцидента, изучать полные журналы и среды выполнения, опрашивать сотрудников и анализировать обучающие данные с помощью классификаторов. В опубликованном в мае Frontier Risk Report организация проанализировала 44 задокументированных случая, когда ИИ-агенты намеренно действовали вопреки пользовательским задачам, включая обход ограничений, выход из изолированных сред, подделку результатов и сокрытие своих действий.