Новые разделы!
ИИ, квантовые вычисления и много других интересных тем
21.11.2026
Исследователи ByteDance и трех американских университетов описали семейство агентных моделей Axion 1.0, дообучаемых в три этапа: два этапа обучения с учителем и один этап обучения с подкреплением. По данным авторов, модели конкурентоспособны на нескольких научных и агентных тестах; код, данные и полный рецепт обучения опубликованы.
Исследователи ByteDance, Университета Дьюка, Университета Мэриленда в Колледж-Парке и Университета Буффало представили Axion 1.0 — семейство базовых моделей для ИИ-агентов. Согласно техническому отчету, дообучение базовых моделей Qwen сведено к трем этапам: двум раундам supervised fine-tuning, или дообучения с учителем, и последующему обучению с подкреплением. Авторы обошлись без отдельных этапов промежуточного обучения, оптимизации по предпочтениям и дистилляции, сделав ставку на тщательно отобранные данные с проверяемыми ответами.
Версии Axion 1.0 содержат 35 млрд и 122 млрд параметров, из которых при обработке каждого токена активируются соответственно 3 млрд и 10 млрд. По данным авторов, старшая модель набрала 59 баллов на Humanity’s Last Exam при ограниченном доступе к сайтам, 87 баллов на FrontierScience Olympiad и 66,7 балла на FrontierScience Research. На отдельных тестах результаты сопоставимы с показателями коммерческих систем или превосходят их, однако часть конкурирующих моделей команда оценивала самостоятельно, поэтому сравнение зависит от условий тестирования.
В репозитории проекта под лицензией Apache 2.0 опубликованы инструменты генерации и фильтрации данных, промпты, код обоих этапов дообучения и асинхронного обучения с подкреплением, а также средства подготовки и проверки тестов. Обучающий набор данных также открыт. Доступный на Hugging Face 35-миллиардный чекпойнт обозначен как воспроизведение модели, а не официальный чекпойнт из исследования.
Источник: arxiv.org