Нейросеть починила другую, но умнее её не сделала

Нейросеть поменяла 0,016 % весов другой модели, и та стала решать в шесть раз больше задач по математике: 48,1 % вместо 7,9 %. Так 2 ноября написали исследователи MIT. Наутро в телеграме это уже называли магией.

Я скачал обе версии модели на свой Mac mini и прогнал 12 задач с теми же настройками. Исправленная решила 5, исходная — 1. По направлению совпало, хотя 12 задач мало, чтобы доказать разницу самому.

Зато видно, откуда рост. Исходная модель почти на каждой задаче не укладывалась в лимит ответа и перепроверяла себя по кругу. В одной задаче она нашла верный ответ 6 и проверяла его, пока лимит не кончился. Правка сильно сократила петли, и модель начала доходить до ответа, который умела найти и раньше. На модели, которая почти не зацикливается, тот же приём заметного выигрыша не дал — это авторы проверили сами.

Замечание Самое сильное в работе пересказы пропустили. Сеть для игры Breakout нейросеть написала с нуля, без обучения, и набрала 517 очков. Сеть того же размера, обученная обычным способом, — 25. Это лучшая из трёх игр, в двух других вышло скромнее.

Что сделали в MIT, как я переносил правку на Мак, таблица по 12 задачам и калькулятор, откуда берётся «рост в шесть раз»: Нейросеть поправила веса другой модели, и та стала решать в шесть раз больше задач. Проверил на Mac mini

Подведём итог: правка вернула модели то, что она умела, и не добавила нового.

Какую новость про нейросети вы последний раз пересказали, не открыв первоисточник?