Sakana AI предложила метод самоулучшения языковой модели без внешнего учителя

Исследователи Sakana AI и Калифорнийского университета в Беркли разработали MASS — метод, в котором одна языковая модель решает задачи, оптимизирует работу виртуальной команды и оценивает результаты. После двух циклов обучения модель превзошла исходную версию в 69,9% сравнений на трёх отложенных задачах, однако общие для всех ролей ошибки могут ошибочно приниматься за прогресс.

Исследователи Sakana AI и Калифорнийского университета в Беркли представили Multi-Agent Self-Supervision (MASS) — метод рекурсивного самоулучшения, при котором одна языковая модель одновременно выступает исполнителем, оптимизатором рабочего процесса и оценщиком.

Модель распределяет задачу между виртуальными субагентами — копиями самой себя, определяет порядок их работы и проверяет итог. На внутреннем этапе MASS ищет более эффективную схему взаимодействия агентов, а на внешнем — дообучает модель на отобранных ею же успешных траекториях.

Эксперименты проводились с открытой моделью Qwen3.6-27B. После двух циклов её доля побед над исходной версией на трёх отложенных синтетических задачах достигла 69,9%. На четырёх публичных исследовательских тестах эффективность на выходной токен выросла в 1,2–1,6 раза, но на Terminal-Bench 2.0 и SWE-bench Verified результат оказался соответственно на 4% и 6% ниже базового уровня.

Главным ограничением метода авторы называют общие слепые зоны. Если модель допускает одну и ту же ошибку как исполнитель, оценщик и оптимизатор, ошибочный результат может быть признан улучшением и попасть в следующий цикл обучения. Поэтому для подобных систем потребуются независимые проверки, ограничения автономности и заранее определённые условия вмешательства.

Препринт исследования опубликован на arXiv, исходный код MASS доступен на GitHub.