Исследователи MIT предложили программировать нейросети прямым редактированием весов

Команда MIT CSAIL продемонстрировала подход Weight-Space Programming, при котором большая языковая модель анализирует и меняет параметры другой нейросети без градиентного спуска и обычного дообучения. В эксперименте с Qwen3.5-0.8B изменение 0,016% весов повысило результат на MATH-500 с 7,9 до 48,1%, однако главным образом за счёт устранения зацикленных рассуждений.

Исследователи Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (MIT CSAIL) описали подход Weight-Space Programming — прямое чтение и изменение параметров нейросети с помощью другой большой языковой модели. В экспериментах GPT-6 Astra должна была находить и исправлять проблемы в весах без градиентного спуска и традиционного цикла обучения.

В основном тесте Astra получила доступ к весам компактной модели Qwen3.5-0.8B, задачам из обучающих частей наборов GSM8K и MATH, а также к результатам не более 50 прямых проходов модели. Она связала повторяющиеся цепочки рассуждений с работой многослойных перцептронов в слоях 15 и 19 и изменила 131 072 параметра — около 0,016% всех весов.

После правки результат Qwen на математическом тесте MATH-500 вырос с 7,9 до 48,1%, а доля ответов, достигавших лимита в 32 768 токенов, сократилась с 93 до 33,1%. Авторы подчёркивают, что эксперимент скорее показывает возможность точечно устранять локальный дефект поведения, чем добавлять модели новое математическое умение.

Метод пока не универсален: аналогичная попытка улучшить Gemma 3 270M, у которой не было массовых зацикливаний, почти не повлияла на её результат. Авторы называют результаты ранними и опубликовали журналы экспериментов и изменённую версию Qwen вместе с описанием работы.