Qwen локально: какую версию ставить и сколько памяти нужно

TL;DR На Mac mini с 16 ГБ памяти работают сборки Qwen с файлом около 11–12 ГБ: больше не даёт лимит памяти, которую macOS отдаёт видеокарте. Я проверил одну такую — Qwen 3.6 35B-A3B, сжатую до 11,5 ГБ, на Mac mini M6. В тесте она пишет 59 токенов в секунду, в работе — 49–58 (токен — примерно полслова). Три лонгрида на 830 тысяч знаков она разобрала за 74 минуты. Команда ollama run qwen3.6 из инструкций в поиске скачивает файл на 23 ГБ: он больше всей памяти Мака. 1 октября Мак за семь часов записал на диск 307 ГБ и перестал отвечать. Главная причина — настройка программы, которая запускает модель: по умолчанию она держит в памяти до 8 ГБ кэша прошлых запросов. Ключ --cache-ram 0, по моей оценке, примерно вдвое сократил запись. Но с открытыми приложениями модель всё равно упирается в память. В Вордстате сейчас чаще других ищут версию 3.8 и размер 27B. Qwen 3.8 27B влезает в 16 ГБ только в трёхбитной сборке. На моих задачах она ошибалась не чаще Qwen 3.6, а проверку фактов сделала лучше, зато пишет 10–11 токенов в секунду — впятеро медленнее. Ниже — какую версию брать, как я ставил модель и где она ошибается. Чтение — около пятнадцати минут.

1 октября Мак завис так, что я не смог войти в систему, пока модель не остановили. За семь часов с включения он записал на диск 307 ГБ — больше его объёма в 256 ГБ. В тот день локальная Qwen 3.6 от Alibaba разбирала на нём лонгриды.

Я Егор, десять лет в перформанс-маркетинге. Mac mini M6 с 16 ГБ я купил в сентябре за 99 990 ₽ и сравнил на нём четыре локальные модели на 33 рабочих задачах. Здесь — только про Qwen.

10 ноября я прочитал первые страницы выдачи Яндекса по запросам «qwen локально» и «qwen на пк». Команды установки есть в большинстве статей, свой замер скорости — в одной, про своп и диск — ни в одной из прочитанных.

Какую Qwen ставить в ноябре 2026 года: для 16 ГБ — Qwen 3.6 35B-A3B

Свежие модели лежат на странице Qwen на Hugging Face — сайте, куда разработчики выкладывают нейросети. Для своего компьютера на 10 ноября там интересны четыре. Сборка в таблице — сжатая версия модели: чем меньше бит приходится на параметр, тем меньше файл.

Версия	Как устроена	Что влезает в 16 ГБ
Qwen 3.8 27B	Плотная: на каждое слово работают все 27 млрд параметров	Двух- и трёхбитные сборки до 12 ГБ, например IQ3_XXS на 10,9 ГБ. С окном в 32 тысячи токенов она, по моей прикидке, уже не влезет, окно придётся сужать. Четырёхбитная Q4_K_M весит 16,5 ГБ и не влезает. Я мерил IQ3_XXS с окном в 16 тысяч токенов
Qwen 3.6 35B-A3B	Смесь экспертов: 35 млрд параметров всего, на слово работают 3 млрд	Одно- и двухбитные сборки на 10–11,5 ГБ, Q2_K_XL на 12,3 ГБ уже за порогом. Я мерил IQ2_M на 11,5 ГБ. Q4_K_M весит 22,1 ГБ и не влезает
Qwen 3.6 27B	Плотная	По таблице Unsloth даже трёхбитной нужно 15 ГБ памяти — больше, чем остаётся на Маке с 16 ГБ
Qwen 3.8 Flash-Next	125 млрд параметров, на слово работают 6 млрд. Разработчик называет её предварительной версией устройства Qwen 4	Нет

У Qwen 3.8 27B и Qwen 3.6 35B-A3B лицензия Apache 2.0: их можно использовать в коммерческих задачах. У Flash-Next своя лицензия, qwen-community-1.0, её условия я не разбирал. Qwen 4 скачать нельзя: о ней объявили 22 сентября на конференции Alibaba Apsara, но на 10 ноября на странице Qwen её нет.

Для 16 ГБ я бы начинал с Qwen 3.6 35B-A3B в сборке IQ2_M. Из-за смеси экспертов она быстрая: на каждое слово читает из памяти около гигабайта весов. Плотная Qwen 3.8 27B в трёхбитной сборке читает все 10,9 ГБ. До замера я прикидывал по плотной модели на 8 млрд параметров: с файлом на 5 ГБ она даёт на этом Маке 26–27 токенов в секунду, файл 27B вдвое тяжелее, значит, около 12. Вышло 10–11,5 против 59 у Qwen 3.6.

По замеру Quesma, четырёхбитная сборка 27B отвечает на уровне полной модели, двухбитная заметно слабее на задачах с кодом, однобитная — на уровне случайного угадывания. Трёхбитные Quesma не мерил, поэтому трёхбитную я прогнал на своих задачах — результаты ниже, в разделе про Qwen 3.8.

Сколько памяти нужно: из 16 ГБ на Маке модели достаётся 9–12 ГБ

Простыми словами Память уходит на три вещи: веса модели (это размер файла), место под текст, который модель сейчас читает и пишет, и всё остальное, что запущено на компьютере. Место под текст растёт вместе с окном — числом токенов, которые модель держит за раз. Unsloth, который выпускает сжатые сборки Qwen, пишет прямо: суммарной памяти должно быть больше, чем весит файл. Иначе часть модели уходит на диск и работает медленнее.

На Маке память у процессора и видеокарты общая, но видеокарте macOS по умолчанию отдаёт только часть. Лимит поднимает команда в Терминале sudo sysctl iogpu.wired_limit_mb=12800, после перезагрузки он сбрасывается. С этим лимитом на файл, место под текст и рабочие буферы остаётся около 12 ГБ. Без него — около 9 ГБ.

На практике запас тоньше. 1 октября я запускал Qwen уже без кэша запросов (о нём ниже) и с окном в 32 тысячи токенов. Рядом работали VS Code, Телеграм и сессии Claude. Свободными оставались 5–6% памяти, и macOS сбрасывала на диск, в своп, 1,2 ГБ в минуту. А 30 сентября, ещё с кэшем и окном в 8 тысяч токенов, за прогон 15 коротких задач своп вырос с 0,2 до 3,8 ГБ — вероятно, отчасти из-за кэша. Скорость при этом не упала.

Самый короткий путь из инструкций в поиске — программа Ollama и команда ollama run qwen3.6. На 10 ноября эта команда скачивает сборку на 23 ГБ. Самый маленький вариант qwen3.6 в библиотеке Ollama — 27B на 17 ГБ (27b-q4_K_M). Оба файла больше всей памяти компьютера с 16 ГБ, поэтому сборку под 16 ГБ приходится скачивать с Hugging Face самому.

Как я поставил Qwen: установка — одна команда, скачивание — около 50 минут

Модель я запускаю бесплатной программой llama.cpp, на Маке она ставится командой brew install llama.cpp. В неё входит сервер llama-server: он держит модель в памяти, принимает запросы и отдаёт ответы в том же формате, что облачные модели OpenAI. Поэтому любой скрипт подключается к нему как к облаку. Ollama и LM Studio я не проверял.

Дольше всего было скачивать. Утилита Hugging Face hf download у меня зависала и ничего не писала на диск. Интернет давал около 4 МБ в секунду, даже когда я качал в 16 потоков. Помогла программа aria2 по прямой ссылке:

aria2c -x16 -s16 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/resolve/main/Qwen3.6-35B-A3B-UD-IQ2_M.gguf

При такой скорости 11,5 ГБ качаются около 50 минут. Контрольную сумму SHA-256 я сверил с той, что указана на странице файла: если они совпадают, файл скачался без ошибок.

Так модель запускается у меня сейчас:

sudo sysctl iogpu.wired_limit_mb=12800
llama-server -m Qwen3.6-35B-A3B-UD-IQ2_M.gguf -ngl 99 --flash-attn on \
  -c 32768 -np 1 -ctk q8_0 -ctv q8_0 --cache-ram 0 \
  --host 127.0.0.1 --port 8080 \
  --chat-template-kwargs '{"enable_thinking":false}'

-ngl 99 отдаёт видеокарте всю модель.
-c 32768 — окно в 32 тысячи токенов, по моей прикидке это 60–80 страниц текста.
-np 1 — один запрос за раз, всё окно ему.
--host 127.0.0.1 — сервер доступен только с этого компьютера.
-ctk и -ctv хранят место под текст сжатым до 8 бит.
--cache-ram 0 разберу ниже, без него Мак и завис.
Последняя строка выключает рассуждения перед ответом.

Замечание По карточкам моделей Qwen 3.6 и 3.8 по умолчанию рассуждают, прежде чем ответить. Для разметки и конспектов я это выключил. Температура задаёт, насколько свободно модель выбирает слова: чем она выше, тем разнообразнее ответы. У меня она была 0,2 в коротких задачах, 0 в звонках и 0,3 в конспектах лонгридов, хотя для режима без рассуждений карточка советует 0,7. Окно — 8 тысяч токенов в первом наборе задач и 32 тысячи в остальных, у Qwen 3.8 — 16 тысяч. Все замеры ниже — с моими настройками.

Скорость: 59 токенов в секунду в тесте, 49–58 в работе

Где мерил	Пишет, токенов в секунду
Тест llama-bench, 30 сентября	59
15 коротких задач через сервер	49–58
Учебные звонки и протоколы встреч	51–57 (Gemma 4 — 35–44)
Конспекты лонгридов, 1 октября	52–56

Токен — примерно полслова русского текста, так что 50 токенов — около 25 слов в секунду. Читает модель быстрее, чем пишет: 1 050–1 163 токена в секунду. Кусок текста до 8 тысяч знаков она разбирала за 22 секунды.

Qwen 3.8 27B на 16 ГБ: впятеро медленнее, ошибок не больше

10 ноября я скачал трёхбитную сборку Qwen 3.8 27B, IQ3_XXS на 10,9 ГБ, и прогнал её через те же задачи, что Qwen 3.6. Рассуждения выключены. Окно — 8 тысяч токенов в коротких задачах и 16 тысяч во встречах: с 32 тысячами модель, по моей прикидке, не влезает.

	Qwen 3.6 35B-A3B, IQ2_M, 11,5 ГБ	Qwen 3.8 27B, IQ3_XXS, 10,9 ГБ
Пишет, токенов в секунду	49–58	10–11,5
Читает длинную расшифровку, токенов в секунду	920–937	184–207
Разбор 40-минутной встречи	37 с	172 с
Рубрика из 11 совпала с эталоном	4 из 5	4 из 5
Поля совпали с эталоном	4 из 5	4 из 5
Заголовок уложился в 60 знаков	5 из 5	5 из 5
Ошибки в черновике со справкой	нашла 4 из 5 и добавила одну лишнюю	нашла 5 из 5, лишнего нет
Срок из сбоя распознавания в протоколе	не поставила	не поставила
Код: автопроверки	7 из 7	7 из 7

Работа через llama-server на Mac mini M6 16 ГБ: Qwen 3.6 — 30 сентября, Qwen 3.8 — 10 ноября 2026 года.

В проверке фактов Qwen 3.8 нашла и фразу про продажи, которую пропустила Qwen 3.6. Ответы стали аккуратнее: все пять JSON без лишней обёртки, марки латиницей, без «Воях Фри». Заголовки остались пересказом: «BYD Seal 07 сменил поколение за 5 месяцев». В протоколе 40-минутной встречи обе модели пропустили один ключевой факт из восьми.

Платить приходится скоростью и памятью. Разбор той же встречи занял почти три минуты вместо 37 секунд. Пока модель загружалась, macOS вытеснила на диск 3,3 ГБ, свободной памяти осталось 6%, и мой сторож остановил тест скорости llama-bench. Поэтому скорость в таблице — по работе через сервер.

Qwen 3.8 27B на 16 ГБ я бы брал для коротких задач, где важна точность: проверка фактов, разметка десятков записей. Тысячи записей и длинные тексты быстрее разберёт Qwen 3.6.

Почему Мак завис: кэш запросов

1 октября Qwen разбирала лонгриды для моей базы знаний, и во время прогона Мак перестал отвечать. Виновата настройка сервера. По умолчанию llama-server хранит в оперативной памяти до 8 ГБ кэша — того, что модель уже прочитала и написала в прошлых запросах, около 280 МБ на запрос. Если тот же текст придёт снова, модель ответит быстрее. При разборе лонгридов повторов нет: каждый кусок — новый текст.

11,5 ГБ весов, до 8 ГБ кэша, macOS и приложения пытались уместиться в 16 ГБ. Всё, что не помещалось, уходило в своп, и диск писал без остановки. За семь часов с включения он записал 307 ГБ, из них около 246 ГБ ушло в своп.

Диск это пережил. Износ по отчёту самого диска — 0%, за всю жизнь Мак записал на него 1,05 ТБ. Сколько можно записать на диск в 256 ГБ, пока он не износится, я у Apple не нашёл. По моей оценке, такому диску хватит около 150–300 ТБ. Тогда день вроде 1 октября съедает 0,1–0,2% ресурса, а если гонять так каждый день, за год уйдёт 40–70%.

Лайфхак Запускайте llama-server с ключом --cache-ram 0. Кэш прошлых запросов нужен, когда к модели снова и снова приходит один и тот же длинный текст. Для разметки и конспектов он только занимает память.

После этого ключа я прогнал те же восемь кусков текста с открытыми приложениями:

Модель и окно	Свободно памяти	В своп, ГБ в минуту	Секунд на кусок	Цитат нет в тексте
Qwen 3.6 35B-A3B, 32 тыс. токенов	5–6%	1,22	22	0 из 91
Qwen 3.6 35B-A3B, 16 тыс. токенов	6%	0,91	22	—
Модель на 8 млрд параметров на основе Qwen3-8B, 16 тыс. токенов	42–44%	0,02	47	5 из 98

По моей оценке, отключение кэша примерно вдвое сократило запись на диск, замера до ключа у меня нет. Но большая Qwen с открытыми приложениями всё равно не помещается в 16 ГБ. Окно в 16 тысяч токенов снижает запись в своп только с 1,22 до 0,91 ГБ в минуту: память занимают в основном веса модели. Модель на 8 млрд параметров своп не трогает, зато вдвое медленнее и чаще ошибается в цитатах.

Разбор длинных текстов я в итоге отдал фоновой очереди на маленькой модели. Большую Qwen запускаю, когда Мак свободен, и после прогона останавливаю: пока сервер запущен, веса занимают 11,5 ГБ, даже если модель ничего не делает.

Длинные тексты: Qwen полнее Gemma, но склеивает цитаты

Я нарезал лонгрид в 127 тысяч знаков на 12 кусков и сравнил на нём Qwen с Gemma 4 от Google. Задание: конспект каждого куска с цитатой к каждому тезису. Скрипт потом ищет цитату в исходном тексте.

Qwen справилась за 5,6 минуты, Gemma — за 6,1.
Gemma потеряла раздел в конце одного куска, 12% раздела. Qwen его сохранила.
Qwen точно передала все четыре уровня зарплат из текста, Gemma свела их в размытые диапазоны.
Из восьми новых фактов в конспекте Qwen с исходным текстом не совпал один: «пятидесятый кейс» вместо «пятьдесят первого».
Из 172 цитат Qwen скрипт не нашёл в тексте пять. Все пять — настоящие фразы, склеенные через «…», хотя задание это запрещало. У Gemma не нашлась одна цитата из 142.

Потом Qwen разобрала три лонгрида целиком: 830 тысяч знаков за 74 минуты, около девяти минут на 100 тысяч знаков. Первый тест шёл быстрее, около пяти минут на 100 тысяч: там куски были крупнее и не было отдельного конспекта каждого раздела. Из 1 601 цитаты выдуманных не оказалось ни одной, а 151 — около 9% — склеена из нескольких фраз.

Решение Требуйте от модели цитату к каждому тезису и проверяйте её скриптом: это дешёвая защита от выдумок. Цитаты с «…» считайте браком и переспрашивайте. Сдвиг смысла такая проверка не ловит: Gemma пересказала «эпоху стремительного органического роста» как эпоху «бесплатного». Поэтому цифры из конспекта перед использованием сверяйте с исходным текстом.

Qwen на ПК с видеокартой: чужой замер на RTX 4070

Qwen на ПК я не ставил, поэтому здесь только чужие данные. Правило то же: видеопамяти и оперативной памяти вместе должно хватать на файл. Смесь экспертов на ПК удобна тем, что часть экспертов можно держать в обычной оперативной памяти.

Пример — статья на Хабре. Её автор запустил Qwen 3.6 35B-A3B в четырёхбитной сборке на 22 ГБ через LM Studio. Компьютер — на Windows 11, с видеокартой RTX 4070 на 12 ГБ и 32 ГБ оперативной памяти. Экспертов он вынес в оперативную память ключом -ncmoe, на видеокарте осталось около 6,2 ГБ. Скорость — 42 токена в секунду, по одному его замеру.

Где это не работает

По одной сборке на версию. Мои замеры — про Qwen 3.6 35B-A3B в сборке IQ2_M, около 2,6 бита на параметр, и Qwen 3.8 27B в IQ3_XXS. Четырёхбитные в 16 ГБ не влезают, так что сравнить их на своих задачах я не могу. По замеру Unsloth на предыдущей версии, Qwen 3.5 35B-A3B, двухбитная сборка Q2_K_XL отклоняется от исходной модели в семь раз сильнее четырёхбитной Q4_K_XL, самая маленькая двухбитная — в 13 раз. Моей IQ2_M в их таблице нет.
Ollama, LM Studio и Windows я не проверял. Про них здесь только документация и чужие замеры.
Маленькие выборки. 15 коротких задач, 12 учебных звонков, три лонгрида; Qwen 3.8 прошла только 15 коротких и шесть рабочих задач. Разница в одну-две задачи между моделями лежит в пределах случайности.
Срок годности. Qwen 3.6 я мерил 30 сентября — 1 октября, Qwen 3.8 — 10 ноября 2026 года, обе на llama.cpp версии 11146. С тех пор вышли новые версии, скорость могла измениться.
Мой набор приложений. Свободную память и своп я мерил с открытыми VS Code, Телеграмом и рабочими сессиями. С другим набором цифры будут другими.

Откуда числа

Скорость, память, своп и цитаты — мои замеры на Mac mini M6 с 16 ГБ, llama.cpp версии 11146, 30 сентября — 1 октября 2026 года, модель Qwen 3.6 35B-A3B в сборке Unsloth UD-IQ2_M, и 10 ноября 2026 года — Qwen 3.8 27B в сборке Unsloth UD-IQ3_XXS. Запись на диск и своп — по счётчикам macOS, износ диска — по отчёту smartctl. Подробные результаты 33 задач — в статье про четыре модели на Mac mini.

Линейка, устройство моделей, лицензии и рекомендованные настройки — карточки Qwen3.8-27B, Qwen3.6-35B-A3B и Qwen3.8-Flash-Next на Hugging Face. Размеры сборок — страницы Unsloth для 3.6 35B-A3B и для 3.8 27B, требования к памяти — документация Unsloth, отклонение сжатых сборок Qwen 3.5 — замер Unsloth, сборки Qwen 3.8 27B — замер Quesma. Сборки в Ollama — библиотека Ollama. Чужой замер на ПК — статья на Хабре от 22 апреля 2026 года. Все страницы открыты 10 ноября 2026 года. Спрос на версии Qwen — Яндекс Вордстат, выдача — Яндекс, тоже 10 ноября.

Краткие выводы

На Mac mini с 16 ГБ после поднятия лимита работают сборки с файлом около 11–12 ГБ. Qwen 3.6 35B-A3B в сборке IQ2_M весит 11,5 ГБ и пишет 49–59 токенов в секунду на Mac mini M6.
ollama run qwen3.6 скачивает 23 ГБ, это больше всей памяти такого компьютера.
Qwen 3.8 27B влезает в 16 ГБ только в трёхбитной сборке, я мерил её с окном в 16 тысяч токенов. На моих задачах она ошибалась не чаще Qwen 3.6, но пишет 10–11 токенов в секунду — впятеро медленнее.
Перед долгим прогоном выключите кэш запросов (--cache-ram 0) и закройте тяжёлые приложения, а после прогона остановите сервер.
На длинных текстах Qwen полнее Gemma, но склеивает около 9% цитат. Требуйте цитату к каждому тезису и проверяйте её скриптом.

Сколько памяти останется на вашем компьютере, когда загрузится модель, а рядом будет открыто всё, с чем вы работаете днём?