Mozilla оценила отставание моделей с открытыми весами от закрытых лидеров в четыре месяца

Лучшие модели с открытыми весами отстают от закрытого фронтира примерно на 4–4,4 месяца, говорится в новом отчёте Mozilla. Для задач на границе возможностей закрытые модели могут давать преимущество, однако их выполнение обходится примерно в пять раз дороже.

Mozilla опубликовала отчёт State of Open Source AI, посвящённый возможностям, стоимости и внедрению моделей с открытыми весами. По расчётам авторов, основанным на данных METR и Epoch AI, их отставание от ведущих закрытых моделей составляет около 4–4,4 месяца.

Авторы связывают этот разрыв с диапазоном задач, на выполнение которых специалисту требуется от восьми до 12 часов. Согласно использованной методике, закрытые модели уже способны надёжно решать часть таких задач, а модели с открытыми весами достигают сопоставимого уровня примерно через четыре месяца. При этом преимущество закрытых систем сопровождается примерно пятикратной стоимостью выполнения задачи.

Для более коротких и рутинных операций отчёт рекомендует рассматривать модели с открытыми весами как основной вариант. Закрытые модели сохраняют заметное преимущество в профессиональной интеллектуальной работе, поиске информации в очень больших контекстах и задачах, где особенно важны поддержка, готовые средства соответствия требованиям и ответственность поставщика.

Mozilla отдельно подчёркивает, что открытые веса не равнозначны полностью открытому исходному коду: разработчики обычно разрешают загрузить и самостоятельно запускать модель, но не публикуют полный набор обучающих данных, конвейер подготовки данных и код обучения.