Новые разделы!
ИИ, квантовые вычисления и много других интересных тем
17.11.2026
OpenAI заключила соглашения с Apollo Research, METR, Transluce и Goodfire: они будут оценивать модели, средства мониторинга и процедуры проверки безопасности. Команда Apollo из шести специалистов в течение четырех месяцев сосредоточится на том, пытаются ли модели скрытно подрывать собственные или будущие механизмы согласования и контроля.
OpenAI объявила о первом этапе встроенных оценок с участием Apollo Research, METR, Transluce и Goodfire. В зависимости от задачи внешним специалистам предоставят доступ к контрольным точкам моделей, исходному коду, данным обучения и тестирования, системам мониторинга, технической документации и сотрудникам компании.
Наиболее подробно описан проект с Apollo Research — организацией, изучающей стратегический обман и несогласованное поведение ИИ. Команда из шести человек будет работать внутри OpenAI четыре месяца. Исследователи проверят, не поощряет ли обучение скрытое противодействие разработчикам, могут ли тесты провоцировать такое поведение, возникает ли оно при внутреннем использовании моделей и можно ли обнаружить связанные с ним рассуждения.
Goodfire, разработчик инструментов интерпретируемости моделей, займется анализом внутренних процессов ИИ и мониторингом обучения. METR проверит крупнейший прогон обучения с подкреплением OpenAI на пропущенные опасные или несогласованные действия, а также планирует отдельную оценку систем мониторинга. Transluce изучит качество и полноту проверок после основного обучения; более широкая восьминедельная оценка запланирована на начало 2027 года.
Apollo Research уточняет условия пилотного проекта: доступ ограничен согласованными моделями, периодами и вопросами. OpenAI сможет не раскрывать отдельные материалы по причинам безопасности, защиты интеллектуальной собственности или технической невозможности. Исследователи также смогут общаться только с одобренными компанией сотрудниками.
Apollo опубликует два отчета с выводами, методами и описанием ограничений. OpenAI сможет потребовать удаления конфиденциальных доказательств, но не итоговых оценок и не информации только на том основании, что она неблагоприятна для компании. Apollo и Goodfire получают оплату, не зависящую от результатов работы; METR и Transluce не берут денежное вознаграждение, но могут воспользоваться вычислительными ресурсами или кредитами API.
Источник: openai.com