Нейросеть поправила веса другой модели, и та стала решать в шесть раз больше задач. Проверил на Mac mini

TL;DR 2 ноября 2026 года исследователи MIT показали: GPT-6 Astra, самая сильная модель OpenAI по описанию самой компании, без обучения поменяла 0,016 % весов маленькой бесплатной модели Qwen3.5-0.8B, и та стала решать 48,1 % задач по математике вместо 7,9 %. Наутро в телеграм-канале, где я увидел новость, это назвали магией, которая пугает. Я скачал обе версии модели на свой Mac mini, перенёс правку, сверил её до бита и прогнал 12 задач с теми же настройками. Исправленная решила 5, исходная — 1. По направлению всё совпало с работой MIT, но 12 задач мало: заметнее всего одно — исправленная модель реже ходит по кругу, и в этом разгадка роста. Умнее модель не стала. Исходная почти на каждой задаче не укладывалась в лимит ответа: перепроверяла себя по кругу, часто одними и теми же строками. Правка сильно сократила петли, и модель начала доходить до ответа, который умела найти и раньше. На модели, которая почти не зацикливается, тот же приём не дал заметного выигрыша. Ниже — что сделали в MIT, что потерялось в пересказе, как я проверял, и калькулятор, откуда берётся «рост в шесть раз». Чтение — минут двенадцать.

Я Егор, десять лет в перформанс-маркетинге. В октябре я проверял на Mac mini с 16 ГБ памяти, какую рутину можно снять с облачной нейросети. Модели на нём живут, скрипты для замеров готовы. Поэтому громкую новость про модели теперь можно повторить у себя. На эту ушло 74 минуты машинного времени и ни рубля.

Что сделали в MIT: правка весов без обучения

Работу написали Рикия Такехи, Джейден Тео, Алекс Чжан и Омар Хаттаб из лаборатории CSAIL Массачусетского технологического института. Хаттаб — автор DSPy и ColBERT, на этих инструментах построено много систем поиска и агентов. Работа вышла 2 ноября постом в блоге, без рецензирования, зато со всеми логами и исправленной моделью в открытом доступе.

Простыми словами Нейросеть — огромная таблица чисел, их называют весами. Обычно веса подбирает обучение: модель тысячи раз ошибается, и алгоритм понемногу сдвигает числа в сторону правильного ответа. Человек читать и править веса руками не может: даже у маленькой языковой модели их сотни миллионов, и по отдельности они ничего не значат.

Авторы проверили, справится ли с этим другая нейросеть. GPT-6 Astra получила восемь заданий: по одним весам понять, чему обучена сеть, починить сломанную, написать новую с нуля. Самое громкое — восьмое. Astra попросили сделать Qwen3.5-0.8B лучше в математике, не обучая её. Qwen3.5-0.8B — бесплатная модель Alibaba на 0,8 млрд весов, её файл весит 1,6 ГБ.

У Astra был блокнот Python с загруженными весами и бюджет: 50 запусков модели, каждый до 512 задач из учебных наборов. Обучать модель запретили. Astra прочитала ответы и увидела, что модель ходит по кругу: 85 из первых 96 ответов упёрлись в лимит длины. Она нашла в весах одно «направление», которое пишут два слоя из 24, пятнадцатый и девятнадцатый, и вычла его из 64 столбцов в каждом. Всего поменялось 131 072 веса из 0,8 млрд, это и есть 0,016 %.

Результат на тесте MATH-500, 500 задач из школьных математических соревнований, от простых до трудных: доля решённых выросла с 7,9 до 48,1 %. На задачах попроще из набора GSM8K — с 13,8 до 67,1 %. На тесте выполнения инструкций IFEval — с 21,0 до 62,3 %.

Что потерялось в пересказе

В телеграм-канале, где я увидел новость, опыт пересказали так: нейросеть вручную, без всякого обучения, поменяла веса в текстовом файле, доля решённых задач выросла с 7,9 до 48,1 %, человек так не мыслит. Цифры в пересказе верные. Потерялись четыре вещи.

Без обучения, но с подсказками «Без обучения» значит без градиентного спуска, того алгоритма, который двигает веса при обучении. Зато у Astra было 50 запусков модели на учебных задачах: она меняла веса, смотрела, как модель отвечает, и меняла снова. С бюджетом в 10 и 25 запусков доля решённых выросла только до 12,3 и 14,1 %. Работала она в Python, текстом веса передавали только в опытах с маленькими сетями.

Модель не стала умнее Qwen3.5-0.8B в режиме рассуждений склонна к петлям: начинает перепроверять себя и ходит по кругу, пока не кончится лимит ответа. Об этом предупреждает сама карточка модели от Alibaba. До правки в лимит 32 768 токенов упирались 93 % ответов на MATH-500, после — 33 %. Правка вернула модели возможность закончить мысль.

На модели без петель не сработало. Авторы проверили тот же приём на Gemma 3 270M от Google. Она зацикливается редко, в лимит упираются 8,5 % ответов. Astra нашла у неё обычные ошибки — неверную арифметику и шаги в алгебре — и ни одного узла, который можно выключить. Правки сдвинули результат меньше чем на пункт: 6,8 % у исходной, лучший вариант — 7,7 %. Вывод авторов: правка весов снимает помеху, за которой пряталось умение, но не добавляет умения, которого у модели нет.

Приём известный Вычесть из весов одно направление — способ, которым исследователи устройства нейросетей убирают у модели отдельное поведение. В 2024 году Энди Ардити и соавторы так выключали у моделей отказы отвечать. Новое в работе MIT — нейросеть сама нашла, какое направление вычесть, без подсказки человека.

Замечание Самое сильное в работе пересказы как раз пропустили. Astra по одним числам, не запуская сети, угадала, на какую игру обучена сеть из 17 тысяч весов и какую фигуру рисует генератор картинок из 24 тысяч. По средним слоям языковой модели на 7 млн весов она определила, на каком языке её учили. А сеть для игры Breakout написала с нуля, без единой тренировки, и набрала 517 очков. Сеть того же размера, которую 500 млн шагов учили обычным способом, набрала 25. Breakout — лучшая из трёх игр: в двух других сети Astra обошли обученные на 100 млн шагов, но уступили обученным на 500 млн. Там, где без запуска не обойтись, вышло хуже: отличить по одним весам модель, которая поддакивает пользователю, от честной Astra не смогла ни в одной из четырёх попыток.

Как я проверял на Mac mini

Стенд тот же, что в октябре: Mac mini M6 с 16 ГБ памяти, модели запускает бесплатная программа llama.cpp. Исходную Qwen3.5-0.8B я взял готовой в формате llama.cpp у команды самой программы. Исправленную авторы выложили только в исходном формате, и переводить её целиком я не стал: по карточке модели отличаются ровно два куска, по 7 МБ.

Я скачал только эти два куска, сверил их контрольные суммы с опубликованными и записал в копию исходной модели. Контрольная сумма — отпечаток файла: поменяйся хоть один бит, она станет другой. Совпало до бита. Остальные 1,5 ГБ файла я сравнил с исходной моделью побайтово: изменений вне двух кусков нет.

Настройки — как в работе MIT: режим рассуждений включён, параметры случайности те же, лимит ответа 32 768 токенов. Ответом считается последнее, что модель поставила в рамку \boxed{}, — так просят оформлять ответ в задачах MATH-500. Двенадцать задач я выбрал случайно, одни и те же для обеих моделей. Мак держал четыре ответа одновременно и писал 142 токена в секунду на всех. Прогон обеих моделей занял 74 минуты.

Простыми словами Токен — кусочек слова, в английском в среднем около четырёх букв. 32 768 токенов — примерно 25 тысяч слов рассуждений на одну задачу. Если модель не уложилась, ответа нет.

Результат: 5 задач из 12 против одной

На 12 задачах MATH-500	Исправленная	Исходная
Решено верно	5	1
Упёрлись в лимит ответа	6	11
Токенов на все задачи	260 751	371 040

Каждую задачу, которую решила исходная модель, решила и исправленная. Четыре задачи решила только исправленная. Ещё в одной задаче исправленная модель дошла до ответа, пусть и неверного, там, где исходная упёрлась в лимит. Обратных случаев нет.

Петлю видно глазами. В задаче про область определения функции исходная модель повторяла по кругу четыре строки: «Подожди, проверяю раскрытие (x−3)² − (x−8)² ещё раз. Подожди, проверю, нет ли опечатки в ручном счёте. Подожди, 10x − 55. Проверим x = 6: 60 − 55 = 5». Модель рассуждает по-английски, перевод мой. В задаче, сколькими способами выбрать 5 учеников из 6, она нашла верный ответ 6 и перепроверяла его, пока не кончился лимит. Задачу на комплексные числа исправленная модель решила за 908 токенов, исходная не уложилась в 32 768.

Шесть задач исправленная тоже не закончила, но выглядит это иначе. Она не повторяет строки, а передумывает: «подожди, перепроверю» каждый раз в новых словах. Правка убрала дословную петлю, привычку сомневаться оставила.

Двенадцать задач — мало. Пять решённых из 12 значат, что настоящая доля у исправленной модели где-то между 15 и 72 %. По упору в лимит перевес 5 к 0 в пользу правки: если бы правка ничего не меняла, такой расклад в её пользу выпадал бы в трёх случаях из ста. По верным ответам перевес 4 к 0 — в шести случаях из ста, это на грани. Мой прогон показывает одно: картина повторяется на другом железе и в другой программе. Доказательство — у авторов и Hugging Face: у них 500 задач по четыре попытки, а Ахсен Халик из Hugging Face отдельно от авторов пересобрал модель по логам с помощью ИИ-агента и перепроверил результат.

Кто мерил	Задач × попыток	Исходная: решено	Исходная: в лимите	Исправленная: решено	Исправленная: в лимите
Авторы, MIT	500 × 4	7,9 %	93 %	48,1 %	33,1 %
Hugging Face	500 × 4, исходная — 25 задач	5,0 %	95 %	51,0 %	31,6 %
Мой Mac mini	12 × 1	1 из 12	11 из 12	5 из 12	6 из 12

Откуда «рост в шесть раз»

Долю решённых задач можно разложить на два множителя: сколько задач модель довела до ответа и сколько из доведённых решила верно.

У исправленной модели по данным авторов до ответа доходят 67 % задач, а решено 48,1 %. Значит, среди доведённых до ответа верных — 72 %. Подставим ту же точность исходной модели. Она доходит до ответа в 7 % задач: 7 % × 72 % = 5 %. Hugging Face намерил у исходной модели 5,0 % на 25 задачах, авторы — 7,9 % на всех 500. Одна и та же точность объясняет почти весь разрыв. Изменилась доля задач, которые модель успевает закончить.

У Gemma до ответа доходят 91,5 % задач. Даже если убрать петли совсем, результат вырастет не больше чем в 1,09 раза: с 6,8 до 7,4 %. Авторы увидели прибавку меньше пункта: лучший вариант — 7,7 %, и сама Astra не сочла эту прибавку доказанной.

Подвигайте ползунки. Калькулятор считает рост от базы, которую даёт формула, поэтому при числах из работы MIT показывает рост в 9,6 раза: с 5,0 до 48,2 %. У авторов база выше, 7,9 %, и рост выходит в 6,1 раза.

Где это не работает

Мой замер маленький: 12 задач и по одному ответу на каждую. Для точного процента нужны сотни задач и несколько попыток, как у авторов и Hugging Face.

Программа другая. Авторы и Hugging Face запускали модель в vLLM на серверной видеокарте, я — в llama.cpp на Маке. Это может немного сдвигать числа, на 12 задачах такой сдвиг не разглядеть. Ответы я сверял упрощённо, сравнением строк, и все совпадения и расхождения проверил глазами.

Формула из калькулятора грубая. Она считает, что задачи, на которых модель зацикливается, такие же трудные, как остальные. Петли чаще случаются на трудных задачах, поэтому формула скорее завышает пользу от их снятия.

Для работы исправленная модель бесполезна. На одну задачу у неё уходит от 20 секунд до 15 минут, когда Мак решает четыре задачи одновременно, а модель на 0,8 млрд весов и без петель решает соревновательную математику заметно хуже больших облачных нейросетей. Ценен сам факт: нейросеть нашла поломку в чужих весах и починила её, не обучая модель.

В деньгах Проверка стоила ноль рублей: обе модели бесплатные, Мак уже стоял на столе и считал 74 минуты, пока я занимался своими делами. Перепроверка Hugging Face на всех 500 задачах заняла 51 минуту на серверной видеокарте H200.

Откуда числа

Работа MIT: Takehi R., Teoh J., Zhang A., Khattab O. Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights, блог MIT CSAIL, 2 ноября 2026 года, опыты 1–8 и таблицы. Логи всех опытов, код правки и оценки. Исправленная модель: перепроверка Hugging Face (51,0 % на 2 000 ответах, 31,6 % в лимите; исходная — 5,0 % на 25 задачах) и контрольные суммы двух изменённых кусков весов.

Модели и задачи: карточка Qwen3.5-0.8B с предупреждением о петлях в режиме рассуждений; исходная модель в формате llama.cpp; GPT-6 Astra в документации OpenAI; задачи MATH-500.

Вычитание направления: Arditi A., Obeso O., Syed A. и др. Refusal in Language Models Is Mediated by a Single Direction, 2024.

Мой прогон: 3 ноября 2026 года, Mac mini M6 16 ГБ, llama.cpp сборка 11146, модели без сжатия (BF16), 12 задач MATH-500, выбранных случайно, температура 0,6, top_p 0,95, top_k 20, presence_penalty 1,5, лимит 32 768 токенов. Интервал 15–72 % — по Клопперу — Пирсону, «три случая из ста» и «шесть из ста» — точный парный односторонний тест по задачам, где модели разошлись (двусторонний даёт 6 и 12 из ста).

Подведём итог. Нейросеть общего назначения нашла поломку в весах другой модели и починила её без обучения. Новое в работе, по словам авторов, именно это: модель берут как есть, и она сама читает и правит веса, вплоть до языковой модели на 0,8 млрд. Это заявка на новое умение. Но «стала решать в шесть раз больше задач» описывает починку: модель получила обратно то, что умела и раньше, а на модели почти без петель тот же приём заметного выигрыша не дал.

Какую новость про нейросети вы последний раз пересказали коллегам, не открыв первоисточник?