OpenAI отозвала рекомендацию SWE-Bench Pro из-за ошибок примерно в 30% задач

OpenAI провела аудит SWE-Bench Pro — бенчмарка для оценки ИИ-агентов на задачах программирования — и оценила долю некорректных заданий примерно в 30%. Компания больше не рекомендует использовать этот тест без тщательной проверки результатов.

OpenAI сообщила, что отзывает прежнюю рекомендацию использовать SWE-Bench Pro для оценки возможностей моделей в программировании. SWE-Bench Pro — бенчмарк для проверки ИИ-агентов на более длинных и реалистичных задачах разработки; задания в нем формируются из истории изменений в публичных и приватных репозиториях.

Аудит проводился на публичной выборке из 731 задачи. Сначала автоматический фильтр отметил 286 потенциально проблемных заданий, затем их проверяли агенты на базе Codex и опытные инженеры. По оценке OpenAI, 200 задач, или 27,4%, содержали существенные ошибки; параллельная ручная разметка выявила 249 таких задач, или 34,1%.

Основные проблемы — слишком строгие тесты, которые требуют не указанной в условии реализации, недоописанные задания с требованиями только в скрытых тестах, слабое покрытие тестами и вводящие в заблуждение формулировки. OpenAI отмечает, что такие дефекты искажают оценки возможностей моделей: на этой же публичной выборке результаты передовых моделей выросли с 23,3% до 80,3% за восемь месяцев. Компания не предложила конкретную замену, но призвала создавать новые бенчмарки с участием опытных разработчиков и более строгим контролем качества.