Исследование Anthropic: эксперты следовали позиции ИИ-агента в 86% аналитических решений

В эксперименте Anthropic 50 специалистов по причинно-следственному анализу в 86% случаев выбирали вариант, который поддерживал ИИ-агент, хотя его предпочтения назначались броском монеты. После выполнения задания 52% участников считали итоговую рекомендацию скорее собственной, а 77% использовали в объяснениях хотя бы один аргумент агента.

Компания Anthropic, разработчик семейства моделей Claude, провела рандомизированный эксперимент с 50 специалистами по причинно-следственному анализу. С помощью Claude Code они оценивали эффективность программы вымышленного сельскохозяйственного кооператива и готовили рекомендацию о ее расширении или закрытии.

Участникам предстояло принять четыре аналитических решения — например, выбрать показатель производительности, метод сравнения и способ взвешивания данных. Для каждого решения предпочтение агента тайно определялось броском монеты. Агент должен был честно приводить наиболее сильные аргументы в пользу назначенного варианта, не скрывая данные и не искажая результаты.

В среднем решения специалистов совпали с позицией агента в 86% случаев. Если участник успевал высказать собственное мнение до агента, то при несогласии с ним менял решение в 60% случаев, а при совпадении позиций — лишь в 6%. После эксперимента 52% назвали итоговую рекомендацию скорее собственной; при этом 77% повторили хотя бы один аргумент агента, но только 15% указали ИИ как его источник.

Работавшие с агентом завершали задание быстрее и допускали меньше серьезных ошибок. Однако авторы подчеркивают, что контрольная группа состояла всего из 11 добровольно отказавшихся от ИИ участников и в среднем имела меньший опыт, поэтому эти различия нельзя уверенно приписать агенту.

Исследование охватывало одну задачу, одну профессиональную область и одну модель, причем предпочтения агента намеренно усиливались инструкциями. Авторы предлагают проектировать агентов так, чтобы они представляли аргументы обеих сторон или сначала запрашивали позицию специалиста, а организациям — заранее определять решения, требующие независимого человеческого суждения.