ИИ-агенты не справились с открытыми исследовательскими задачами уровня NeurIPS
15.08.2026
В эксперименте CRUX агентам на базе Claude Opus 4.8 поручили за шесть дней подготовить статьи по вопросам из двух неопубликованных заявок на NeurIPS 2026. Они выполнили инженерную часть работы, но авторы исходных исследований оценили результаты как Reject и Strong Reject; проверочный запуск GPT-5.6 Sol Ultra выявил сходные проблемы.
Исследователи из Принстонского университета, британского Института безопасности искусственного интеллекта и других организаций проверили, способны ли современные ИИ-агенты самостоятельно вести открытые исследования. В методе «теневой оценки» агентам передали центральные вопросы из двух неопубликованных заявок на NeurIPS 2026 — крупную конференцию по машинному обучению. Готовые работы оценивали авторы исходных исследований.
В основных запусках использовалась модель Claude Opus 4.8 от Anthropic в агентной среде OpenClaw. На каждую задачу выделили шесть дней, $3000 на API, вычислительные ресурсы с GPU, виртуальную машину и доступ к интернету. Агенты искали литературу, писали и отлаживали код, проводили эксперименты и собирали статьи в LaTeX, однако получили итоговые оценки 2 из 6 — Reject — и 1 из 6 — Strong Reject.
Анализ журналов выявил пять повторяющихся проблем: неспособность оценить уровень, необходимый для публикации, отсутствие творческой реакции на неудачные эксперименты, неэффективный отказ от бесперспективных подходов, плохое управление временем и ресурсами, а также постепенное отклонение от инструкций. Дополнительный запуск одной из задач с GPT-5.6 Sol Ultra от OpenAI и средой Codex воспроизвёл почти все эти сбои.
Авторы подчёркивают ограничения эксперимента: исследованы только две задачи и пять запусков, а рецензенты знали, что оценивают работы ИИ. Результаты рассматриваются как предварительное свидетельство того, что агенты уже могут автоматизировать значительную часть исследовательской инженерии, но пока не способны надёжно решать длительные открытые научные задачи.
Источник: cruxevals.com