DiscoBench: поисковые ИИ-агенты ошибаются на неоднозначных запросах, потому что не задают уточняющих вопросов

Команда Hunyuan, ИИ-подразделения Tencent, и Шэньчжэньской международной аспирантуры Университета Цинхуа опубликовала препринт с бенчмарком DiscoBench для проверки многошагового веб-поиска при неоднозначных запросах. В экспериментах даже лучший результат в нейтральном режиме составил 43,1%, а стратегия «искать дальше и затем угадывать» оказалась хуже прямой догадки.

Исследователи из Hunyuan, ИИ-подразделения Tencent, и Shenzhen International Graduate School, Tsinghua University, опубликовали препринт о DiscoBench — бенчмарке для поисковых LLM-агентов, которые должны не только находить информацию, но и понимать, когда пользовательский запрос недостаточно точен.

DiscoBench включает 211 задач и 463 случая неоднозначности в 11 предметных областях. Авторы выделяют четыре типа проблем: несколько подходящих сущностей, разные версии или временные состояния, неуказанные критерии оценки и фактические ошибки в запросе. На каждом контрольном шаге агент может продолжить поиск, задать уточняющий вопрос или дать ответ; поисковые вызовы в эксперименте выполнялись через Tavily, а ответы пользователя имитировала модель Gemini-3-Flash-Medium.

В нейтральном режиме, без явной подсказки о возможной неоднозначности, лучший результат показал Doubao-Seed-2.0-Pro — 43,1% сквозной точности. Gemini-3.1-Pro-Preview получил 40,8%, Claude-Opus-4.7 — 39,8%. Явная инструкция следить за неоднозначностью улучшила среднюю сквозную точность по десяти моделям с 28,6% до 33,7%, а F1 по обнаружению неоднозначности — с 45,3% до 64,9%, но не решила проблему прохождения всей цепочки рассуждений.

Главный вывод работы — дополнительные поисковые вызовы сами по себе не помогают, если агент не переходит к уточняющему диалогу. В общей подвыборке неоднозначных контрольных точек профиль SearchThenAsk, когда агент сначала ищет, а затем задает уточняющий вопрос, дал средний pass rate 93,4%. DirectGuess, то есть прямая догадка без уточнения, дал 56,5%, а SearchHeavyGuess, когда агент много ищет, но все равно угадывает, — только 51,9%.

Авторы считают это отдельным слабым местом современных поисковых агентов: они могут замечать признаки неопределенности в выдаче, но не превращают эту неопределенность в вопрос к пользователю. При удалении неоднозначности из задач точность моделей росла на 26,8–40,2 процентного пункта, что показывает: проблема связана не только с качеством поиска, но и с планированием взаимодействия.