Artificial Analysis запустила шесть отраслевых индексов для ИИ-моделей: Claude Fable 5 лидирует, но по высокой цене

Платформа независимого тестирования ИИ Artificial Analysis представила шесть новых индексов, оценивающих модели по конкретным отраслям — от финансов до медицины. Модель Anthropic Claude Fable 5 возглавила все категории, однако её лидерство обходится в десятки, а порой и в сотни раз дороже, чем у конкурентов при небольшом разрыве в баллах.

Independent-платформа Artificial Analysis, занимающаяся сравнительным тестированием ИИ-моделей и провайдеров, добавила шесть новых отраслевых индексов возможностей (Capability Indices). Они оценивают модели по конкретным профессиональным доменам: «Финансы и учёт», «Юриспруденция», «Здравоохранение и медицина», «Стратегия и операции», «Инженерия» и «Экономика». Новые индексы расширяют уже существовавшие у платформы наборы для агентных и программистских задач.

По описанию Artificial Analysis, методология опирается на классификацию профессий из американской системы O*NET: доменные навыки выводятся из перечисленных там рабочих задач — например, финансовое моделирование, юридический поиск и анализ контрактов или поддержка клинических решений. Для каждого домена набор тестов собирается заново и взвешивается по тому, насколько часто конкретный навык встречается в отрасли; все прогоны, по заявлению платформы, выполняются независимо.

Первое место во всех отраслевых индексах заняла модель Claude Fable 5 от компании Anthropic (с механизмом отката на Claude Opus 4.8). За ней следуют Claude Opus 4.8 и GPT-5.5 от OpenAI. Ниже верхнего эшелона расстановка сил заметно меняется от домена к домену: позициями меняются модели Google Gemini, Anthropic Claude Sonnet 5 и китайская GLM-5.2. Среди моделей с открытыми весами GLM-5.2 лидирует в пяти из шести отраслевых индексов.

Однако лидерство Fable 5 обходится дорого. В индексе «Стратегия и операции» одна задача на Fable 5 стоит около $3,48 — более чем в сто раз дороже, чем у DeepSeek V4 Pro ($0,03), при разрыве всего в 12 баллов. По данным анализа стоимости, DeepSeek V4 Flash обрабатывает задачи по всем шести индексам менее чем за $0,04 за задачу, показывая средние результаты.

Результаты Artificial Analysis совпадают с данными платформы LMArena, где модели ранжируются по итогам «слепых» сравнений от реальных пользователей. По состоянию на снимок таблицы лидеров от 7 июля Claude Fable 5 занимает первое место в категориях Text Arena, Code Arena и Agent Arena. Полные веса, компоненты тестов и документация по методологии опубликованы на сайте Artificial Analysis.