--- title: "Qwen локально на 16 ГБ: какую версию ставить, сколько памяти нужно и почему Мак записал 307 ГБ на диск" canonical_url: https://evstygney.ru/articles/qwen-lokalno-16-gb/ date_published: 2026-11-10 date_modified: 2026-11-10 author: Егор (https://evstygney.ru/about/) summary: "Какая Qwen влезает в 16 ГБ, почему ollama run qwen3.6 не подходит, как запустить модель через llama.cpp и из-за чего Мак записал 307 ГБ на диск. Замеры на Mac mini M6." tags: ["ИИ и инструменты"] --- # Qwen локально на 16 ГБ: какую версию ставить, сколько памяти нужно и почему Мак записал 307 ГБ на диск **TL;DR.** На Mac mini с 16 ГБ памяти работают сборки Qwen с файлом около 11–12 ГБ: больше не даёт лимит памяти, которую macOS отдаёт видеокарте. Я проверил одну такую — Qwen 3.6 35B-A3B, сжатую до 11,5 ГБ, на Mac mini M6. В тесте она пишет 59 токенов в секунду, в работе — 49–58 (токен — примерно полслова). Три лонгрида на 830 тысяч знаков она разобрала за 74 минуты. Команда `ollama run qwen3.6` из инструкций в поиске скачивает файл на 23 ГБ: он больше всей памяти Мака. 1 октября Мак за семь часов записал на диск 307 ГБ и перестал отвечать. Главная причина — настройка программы, которая запускает модель: по умолчанию она держит в памяти до 8 ГБ кэша прошлых запросов. Ключ `--cache-ram 0`, по моей оценке, примерно вдвое сократил запись. Но с открытыми приложениями модель всё равно упирается в память. В Вордстате сейчас чаще других ищут версию 3.8 и размер 27B. Qwen 3.8 27B влезает в 16 ГБ только в трёхбитной сборке. На моих задачах она ошибалась не чаще Qwen 3.6, а проверку фактов сделала лучше, зато пишет 10–11 токенов в секунду — впятеро медленнее. Ниже — какую версию брать, как я ставил модель и где она ошибается. Чтение — около пятнадцати минут. 1 октября Мак завис так, что я не смог войти в систему, пока модель не остановили. За семь часов с включения он записал на диск 307 ГБ — больше его объёма в 256 ГБ. В тот день локальная Qwen 3.6 от Alibaba разбирала на нём лонгриды. Я Егор, десять лет в перформанс-маркетинге. Mac mini M6 с 16 ГБ я купил в сентябре за 99 990 ₽ и [сравнил на нём четыре локальные модели](/articles/lokalnye-modeli-mac-mini/) на 33 рабочих задачах. Здесь — только про Qwen. 10 ноября я прочитал первые страницы выдачи Яндекса по запросам «qwen локально» и «qwen на пк». Команды установки есть в большинстве статей, свой замер скорости — в одной, про своп и диск — ни в одной из прочитанных. ## Какую Qwen ставить в ноябре 2026 года: для 16 ГБ — Qwen 3.6 35B-A3B Свежие модели лежат на странице Qwen на Hugging Face — сайте, куда разработчики выкладывают нейросети. Для своего компьютера на 10 ноября там интересны четыре. Сборка в таблице — сжатая версия модели: чем меньше бит приходится на параметр, тем меньше файл. | Версия | Как устроена | Что влезает в 16 ГБ | |---|---|---| | Qwen 3.8 27B | Плотная: на каждое слово работают все 27 млрд параметров | Двух- и трёхбитные сборки до 12 ГБ, например IQ3_XXS на 10,9 ГБ. С окном в 32 тысячи токенов она, по моей прикидке, уже не влезет, окно придётся сужать. Четырёхбитная Q4_K_M весит 16,5 ГБ и не влезает. Я мерил IQ3_XXS с окном в 16 тысяч токенов | | Qwen 3.6 35B-A3B | Смесь экспертов: 35 млрд параметров всего, на слово работают 3 млрд | Одно- и двухбитные сборки на 10–11,5 ГБ, Q2_K_XL на 12,3 ГБ уже за порогом. Я мерил IQ2_M на 11,5 ГБ. Q4_K_M весит 22,1 ГБ и не влезает | | Qwen 3.6 27B | Плотная | По таблице Unsloth даже трёхбитной нужно 15 ГБ памяти — больше, чем остаётся на Маке с 16 ГБ | | Qwen 3.8 Flash-Next | 125 млрд параметров, на слово работают 6 млрд. Разработчик называет её предварительной версией устройства Qwen 4 | Нет | У Qwen 3.8 27B и Qwen 3.6 35B-A3B лицензия Apache 2.0: их можно использовать в коммерческих задачах. У Flash-Next своя лицензия, qwen-community-1.0, её условия я не разбирал. Qwen 4 скачать нельзя: о ней объявили 22 сентября на конференции Alibaba Apsara, но на 10 ноября на странице Qwen её нет. Для 16 ГБ я бы начинал с Qwen 3.6 35B-A3B в сборке IQ2_M. Из-за смеси экспертов она быстрая: на каждое слово читает из памяти около гигабайта весов. Плотная Qwen 3.8 27B в трёхбитной сборке читает все 10,9 ГБ. До замера я прикидывал по плотной модели на 8 млрд параметров: с файлом на 5 ГБ она даёт на этом Маке 26–27 токенов в секунду, файл 27B вдвое тяжелее, значит, около 12. Вышло 10–11,5 против 59 у Qwen 3.6. По замеру Quesma, четырёхбитная сборка 27B отвечает на уровне полной модели, двухбитная заметно слабее на задачах с кодом, однобитная — на уровне случайного угадывания. Трёхбитные Quesma не мерил, поэтому трёхбитную я прогнал на своих задачах — результаты ниже, в разделе про Qwen 3.8. ## Сколько памяти нужно: из 16 ГБ на Маке модели достаётся 9–12 ГБ **Простыми словами.** Память уходит на три вещи: веса модели (это размер файла), место под текст, который модель сейчас читает и пишет, и всё остальное, что запущено на компьютере. Место под текст растёт вместе с окном — числом токенов, которые модель держит за раз. Unsloth, который выпускает сжатые сборки Qwen, пишет прямо: суммарной памяти должно быть больше, чем весит файл. Иначе часть модели уходит на диск и работает медленнее. На Маке память у процессора и видеокарты общая, но видеокарте macOS по умолчанию отдаёт только часть. Лимит поднимает команда в Терминале `sudo sysctl iogpu.wired_limit_mb=12800`, после перезагрузки он сбрасывается. С этим лимитом на файл, место под текст и рабочие буферы остаётся около 12 ГБ. Без него — около 9 ГБ. На практике запас тоньше. 1 октября я запускал Qwen уже без кэша запросов (о нём ниже) и с окном в 32 тысячи токенов. Рядом работали VS Code, Телеграм и сессии Claude. Свободными оставались 5–6% памяти, и macOS сбрасывала на диск, в своп, 1,2 ГБ в минуту. А 30 сентября, ещё с кэшем и окном в 8 тысяч токенов, за прогон 15 коротких задач своп вырос с 0,2 до 3,8 ГБ — вероятно, отчасти из-за кэша. Скорость при этом не упала. Самый короткий путь из инструкций в поиске — программа Ollama и команда `ollama run qwen3.6`. На 10 ноября эта команда скачивает сборку на 23 ГБ. Самый маленький вариант `qwen3.6` в библиотеке Ollama — 27B на 17 ГБ (`27b-q4_K_M`). Оба файла больше всей памяти компьютера с 16 ГБ, поэтому сборку под 16 ГБ приходится скачивать с Hugging Face самому. ## Как я поставил Qwen: установка — одна команда, скачивание — около 50 минут Модель я запускаю бесплатной программой llama.cpp, на Маке она ставится командой `brew install llama.cpp`. В неё входит сервер llama-server: он держит модель в памяти, принимает запросы и отдаёт ответы в том же формате, что облачные модели OpenAI. Поэтому любой скрипт подключается к нему как к облаку. Ollama и LM Studio я не проверял. Дольше всего было скачивать. Утилита Hugging Face `hf download` у меня зависала и ничего не писала на диск. Интернет давал около 4 МБ в секунду, даже когда я качал в 16 потоков. Помогла программа aria2 по прямой ссылке: ``` aria2c -x16 -s16 https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF/resolve/main/Qwen3.6-35B-A3B-UD-IQ2_M.gguf ``` При такой скорости 11,5 ГБ качаются около 50 минут. Контрольную сумму SHA-256 я сверил с той, что указана на странице файла: если они совпадают, файл скачался без ошибок. Так модель запускается у меня сейчас: ``` sudo sysctl iogpu.wired_limit_mb=12800 llama-server -m Qwen3.6-35B-A3B-UD-IQ2_M.gguf -ngl 99 --flash-attn on \ -c 32768 -np 1 -ctk q8_0 -ctv q8_0 --cache-ram 0 \ --host 127.0.0.1 --port 8080 \ --chat-template-kwargs '{"enable_thinking":false}' ``` - `-ngl 99` отдаёт видеокарте всю модель. - `-c 32768` — окно в 32 тысячи токенов, по моей прикидке это 60–80 страниц текста. - `-np 1` — один запрос за раз, всё окно ему. - `--host 127.0.0.1` — сервер доступен только с этого компьютера. - `-ctk` и `-ctv` хранят место под текст сжатым до 8 бит. - `--cache-ram 0` разберу ниже, без него Мак и завис. - Последняя строка выключает рассуждения перед ответом. **Замечание.** По карточкам моделей Qwen 3.6 и 3.8 по умолчанию рассуждают, прежде чем ответить. Для разметки и конспектов я это выключил. Температура задаёт, насколько свободно модель выбирает слова: чем она выше, тем разнообразнее ответы. У меня она была 0,2 в коротких задачах, 0 в звонках и 0,3 в конспектах лонгридов, хотя для режима без рассуждений карточка советует 0,7. Окно — 8 тысяч токенов в первом наборе задач и 32 тысячи в остальных, у Qwen 3.8 — 16 тысяч. Все замеры ниже — с моими настройками. ## Скорость: 59 токенов в секунду в тесте, 49–58 в работе | Где мерил | Пишет, токенов в секунду | |---|---| | Тест llama-bench, 30 сентября | 59 | | 15 коротких задач через сервер | 49–58 | | Учебные звонки и протоколы встреч | 51–57 (Gemma 4 — 35–44) | | Конспекты лонгридов, 1 октября | 52–56 | Токен — примерно полслова русского текста, так что 50 токенов — около 25 слов в секунду. Читает модель быстрее, чем пишет: 1 050–1 163 токена в секунду. Кусок текста до 8 тысяч знаков она разбирала за 22 секунды. ## Qwen 3.8 27B на 16 ГБ: впятеро медленнее, ошибок не больше 10 ноября я скачал трёхбитную сборку Qwen 3.8 27B, IQ3_XXS на 10,9 ГБ, и прогнал её через те же задачи, что Qwen 3.6. Рассуждения выключены. Окно — 8 тысяч токенов в коротких задачах и 16 тысяч во встречах: с 32 тысячами модель, по моей прикидке, не влезает. | | Qwen 3.6 35B-A3B, IQ2_M, 11,5 ГБ | Qwen 3.8 27B, IQ3_XXS, 10,9 ГБ | |---|---|---| | Пишет, токенов в секунду | 49–58 | 10–11,5 | | Читает длинную расшифровку, токенов в секунду | 920–937 | 184–207 | | Разбор 40-минутной встречи | 37 с | 172 с | | Рубрика из 11 совпала с эталоном | 4 из 5 | 4 из 5 | | Поля совпали с эталоном | 4 из 5 | 4 из 5 | | Заголовок уложился в 60 знаков | 5 из 5 | 5 из 5 | | Ошибки в черновике со справкой | нашла 4 из 5 и добавила одну лишнюю | нашла 5 из 5, лишнего нет | | Срок из сбоя распознавания в протоколе | не поставила | не поставила | | Код: автопроверки | 7 из 7 | 7 из 7 | *Работа через llama-server на Mac mini M6 16 ГБ: Qwen 3.6 — 30 сентября, Qwen 3.8 — 10 ноября 2026 года.* В проверке фактов Qwen 3.8 нашла и фразу про продажи, которую пропустила Qwen 3.6. Ответы стали аккуратнее: все пять JSON без лишней обёртки, марки латиницей, без «Воях Фри». Заголовки остались пересказом: «BYD Seal 07 сменил поколение за 5 месяцев». В протоколе 40-минутной встречи обе модели пропустили один ключевой факт из восьми. Платить приходится скоростью и памятью. Разбор той же встречи занял почти три минуты вместо 37 секунд. Пока модель загружалась, macOS вытеснила на диск 3,3 ГБ, свободной памяти осталось 6%, и мой сторож остановил тест скорости llama-bench. Поэтому скорость в таблице — по работе через сервер. Qwen 3.8 27B на 16 ГБ я бы брал для коротких задач, где важна точность: проверка фактов, разметка десятков записей. Тысячи записей и длинные тексты быстрее разберёт Qwen 3.6. ## Почему Мак завис: кэш запросов 1 октября Qwen разбирала лонгриды для моей базы знаний, и во время прогона Мак перестал отвечать. Виновата настройка сервера. По умолчанию llama-server хранит в оперативной памяти до 8 ГБ кэша — того, что модель уже прочитала и написала в прошлых запросах, около 280 МБ на запрос. Если тот же текст придёт снова, модель ответит быстрее. При разборе лонгридов повторов нет: каждый кусок — новый текст. 11,5 ГБ весов, до 8 ГБ кэша, macOS и приложения пытались уместиться в 16 ГБ. Всё, что не помещалось, уходило в своп, и диск писал без остановки. За семь часов с включения он записал 307 ГБ, из них около 246 ГБ ушло в своп. Диск это пережил. Износ по отчёту самого диска — 0%, за всю жизнь Мак записал на него 1,05 ТБ. Сколько можно записать на диск в 256 ГБ, пока он не износится, я у Apple не нашёл. По моей оценке, такому диску хватит около 150–300 ТБ. Тогда день вроде 1 октября съедает 0,1–0,2% ресурса, а если гонять так каждый день, за год уйдёт 40–70%. **Лайфхак.** Запускайте llama-server с ключом `--cache-ram 0`. Кэш прошлых запросов нужен, когда к модели снова и снова приходит один и тот же длинный текст. Для разметки и конспектов он только занимает память. После этого ключа я прогнал те же восемь кусков текста с открытыми приложениями: | Модель и окно | Свободно памяти | В своп, ГБ в минуту | Секунд на кусок | Цитат нет в тексте | |---|---|---|---|---| | Qwen 3.6 35B-A3B, 32 тыс. токенов | 5–6% | 1,22 | 22 | 0 из 91 | | Qwen 3.6 35B-A3B, 16 тыс. токенов | 6% | 0,91 | 22 | — | | Модель на 8 млрд параметров на основе Qwen3-8B, 16 тыс. токенов | 42–44% | 0,02 | 47 | 5 из 98 | По моей оценке, отключение кэша примерно вдвое сократило запись на диск, замера до ключа у меня нет. Но большая Qwen с открытыми приложениями всё равно не помещается в 16 ГБ. Окно в 16 тысяч токенов снижает запись в своп только с 1,22 до 0,91 ГБ в минуту: память занимают в основном веса модели. Модель на 8 млрд параметров своп не трогает, зато вдвое медленнее и чаще ошибается в цитатах. Разбор длинных текстов я в итоге отдал фоновой очереди на маленькой модели. Большую Qwen запускаю, когда Мак свободен, и после прогона останавливаю: пока сервер запущен, веса занимают 11,5 ГБ, даже если модель ничего не делает. ## Длинные тексты: Qwen полнее Gemma, но склеивает цитаты Я нарезал лонгрид в 127 тысяч знаков на 12 кусков и сравнил на нём Qwen с Gemma 4 от Google. Задание: конспект каждого куска с цитатой к каждому тезису. Скрипт потом ищет цитату в исходном тексте. - Qwen справилась за 5,6 минуты, Gemma — за 6,1. - Gemma потеряла раздел в конце одного куска, 12% раздела. Qwen его сохранила. - Qwen точно передала все четыре уровня зарплат из текста, Gemma свела их в размытые диапазоны. - Из восьми новых фактов в конспекте Qwen с исходным текстом не совпал один: «пятидесятый кейс» вместо «пятьдесят первого». - Из 172 цитат Qwen скрипт не нашёл в тексте пять. Все пять — настоящие фразы, склеенные через «…», хотя задание это запрещало. У Gemma не нашлась одна цитата из 142. Потом Qwen разобрала три лонгрида целиком: 830 тысяч знаков за 74 минуты, около девяти минут на 100 тысяч знаков. Первый тест шёл быстрее, около пяти минут на 100 тысяч: там куски были крупнее и не было отдельного конспекта каждого раздела. Из 1 601 цитаты выдуманных не оказалось ни одной, а 151 — около 9% — склеена из нескольких фраз. **Решение.** Требуйте от модели цитату к каждому тезису и проверяйте её скриптом: это дешёвая защита от выдумок. Цитаты с «…» считайте браком и переспрашивайте. Сдвиг смысла такая проверка не ловит: Gemma пересказала «эпоху стремительного органического роста» как эпоху «бесплатного». Поэтому цифры из конспекта перед использованием сверяйте с исходным текстом. ## Qwen на ПК с видеокартой: чужой замер на RTX 4070 Qwen на ПК я не ставил, поэтому здесь только чужие данные. Правило то же: видеопамяти и оперативной памяти вместе должно хватать на файл. Смесь экспертов на ПК удобна тем, что часть экспертов можно держать в обычной оперативной памяти. Пример — [статья на Хабре](https://habr.com/ru/articles/1026482/). Её автор запустил Qwen 3.6 35B-A3B в четырёхбитной сборке на 22 ГБ через LM Studio. Компьютер — на Windows 11, с видеокартой RTX 4070 на 12 ГБ и 32 ГБ оперативной памяти. Экспертов он вынес в оперативную память ключом `-ncmoe`, на видеокарте осталось около 6,2 ГБ. Скорость — 42 токена в секунду, по одному его замеру. ## Где это не работает - **По одной сборке на версию.** Мои замеры — про Qwen 3.6 35B-A3B в сборке IQ2_M, около 2,6 бита на параметр, и Qwen 3.8 27B в IQ3_XXS. Четырёхбитные в 16 ГБ не влезают, так что сравнить их на своих задачах я не могу. По замеру Unsloth на предыдущей версии, Qwen 3.5 35B-A3B, двухбитная сборка Q2_K_XL отклоняется от исходной модели в семь раз сильнее четырёхбитной Q4_K_XL, самая маленькая двухбитная — в 13 раз. Моей IQ2_M в их таблице нет. - **Ollama, LM Studio и Windows я не проверял.** Про них здесь только документация и чужие замеры. - **Маленькие выборки.** 15 коротких задач, 12 учебных звонков, три лонгрида; Qwen 3.8 прошла только 15 коротких и шесть рабочих задач. Разница в одну-две задачи между моделями лежит в пределах случайности. - **Срок годности.** Qwen 3.6 я мерил 30 сентября — 1 октября, Qwen 3.8 — 10 ноября 2026 года, обе на llama.cpp версии 11146. С тех пор вышли новые версии, скорость могла измениться. - **Мой набор приложений.** Свободную память и своп я мерил с открытыми VS Code, Телеграмом и рабочими сессиями. С другим набором цифры будут другими. ## Откуда числа Скорость, память, своп и цитаты — мои замеры на Mac mini M6 с 16 ГБ, llama.cpp версии 11146, 30 сентября — 1 октября 2026 года, модель Qwen 3.6 35B-A3B в сборке Unsloth UD-IQ2_M, и 10 ноября 2026 года — Qwen 3.8 27B в сборке Unsloth UD-IQ3_XXS. Запись на диск и своп — по счётчикам macOS, износ диска — по отчёту smartctl. Подробные результаты 33 задач — в [статье про четыре модели на Mac mini](/articles/lokalnye-modeli-mac-mini/). Линейка, устройство моделей, лицензии и рекомендованные настройки — карточки [Qwen3.8-27B](https://huggingface.co/Qwen/Qwen3.8-27B), [Qwen3.6-35B-A3B](https://huggingface.co/Qwen/Qwen3.6-35B-A3B) и [Qwen3.8-Flash-Next](https://huggingface.co/Qwen/Qwen3.8-Flash-Next) на Hugging Face. Размеры сборок — страницы Unsloth [для 3.6 35B-A3B](https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF) и [для 3.8 27B](https://huggingface.co/unsloth/Qwen3.8-27B-GGUF), требования к памяти — [документация Unsloth](https://unsloth.ai/docs/models/qwen3.6), отклонение сжатых сборок Qwen 3.5 — [замер Unsloth](https://unsloth.ai/docs/models/qwen3.5/gguf-benchmarks), сборки Qwen 3.8 27B — [замер Quesma](https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/). Сборки в Ollama — [библиотека Ollama](https://ollama.com/library/qwen3.6/tags). Чужой замер на ПК — [статья на Хабре](https://habr.com/ru/articles/1026482/) от 22 апреля 2026 года. Все страницы открыты 10 ноября 2026 года. Спрос на версии Qwen — Яндекс Вордстат, выдача — Яндекс, тоже 10 ноября. ## Краткие выводы - На Mac mini с 16 ГБ после поднятия лимита работают сборки с файлом около 11–12 ГБ. Qwen 3.6 35B-A3B в сборке IQ2_M весит 11,5 ГБ и пишет 49–59 токенов в секунду на Mac mini M6. - `ollama run qwen3.6` скачивает 23 ГБ, это больше всей памяти такого компьютера. - Qwen 3.8 27B влезает в 16 ГБ только в трёхбитной сборке, я мерил её с окном в 16 тысяч токенов. На моих задачах она ошибалась не чаще Qwen 3.6, но пишет 10–11 токенов в секунду — впятеро медленнее. - Перед долгим прогоном выключите кэш запросов (`--cache-ram 0`) и закройте тяжёлые приложения, а после прогона остановите сервер. - На длинных текстах Qwen полнее Gemma, но склеивает около 9% цитат. Требуйте цитату к каждому тезису и проверяйте её скриптом. Сколько памяти останется на вашем компьютере, когда загрузится модель, а рядом будет открыто всё, с чем вы работаете днём? --- Автор: Егор, маркетинг на языке денег. Telegram: https://t.me/evstygney_ru. Все цифры — модельные прикидки, если не сказано иное.