# Как запустить Qwen3.8-Flash-Next локально через Unsloth и не ошибиться с памятью

> Для Qwen3.8-Flash-Next недостаточно смотреть на 6B активных параметров. Разбираем бюджет 75/96/128 ГБ, выбор GGUF Unsloth, запуск llama.cpp и проверку реальной пригодности.

- Source: https://www.aifreeapi.com/ru/posts/qwen3-8-flash-next-unsloth-local
- Language: ru
- Published: 2026-08-29
- Updated: 2026-09-12
- Publisher: AI Free API (https://www.aifreeapi.com)

Qwen3.8-Flash-Next можно запустить локально, но это не «модель на 6B», которую достаточно поместить в обычную видеокарту. Шесть миллиардов — число параметров основного MoE, активируемых для одного токена. В [официальной карточке Qwen](https://huggingface.co/Qwen/Qwen3.8-Flash-Next) указаны 125B параметров основной модели, ещё 51B в N-gram embeddings и 4B MTP. Нужные веса всё равно должны находиться в памяти, на диске или подгружаться с другого устройства при частичной выгрузке.

По текущей оценке Unsloth, самая маленькая однобитная сборка требует не менее 75 ГБ общей памяти, а разумная стартовая машина для неё имеет 96 ГБ оперативной или объединённой памяти. Для четырёхбитных сборок в текущей таблице Unsloth указано 96–114 ГБ. Поэтому 128 ГБ позволяют проверять Q3/Q4, но не гарантируют работу с полным контекстом в 262 тысячи токенов.

## Быстрый ответ для разных конфигураций

Оценивайте память, свободную во время генерации. На Mac она общая для модели, macOS и приложений. В системе с дискретной GPU важны и VRAM, и RAM, и скорость переноса между ними.

| Реально доступная память | Практическое решение |
|---|---|
| До 64 ГБ | Ниже опубликованного минимума Unsloth; начните с меньшей модели |
| Около 96 ГБ | Начинайте с 1–3-bit, короткого контекста и одного процесса |
| Около 128 ГБ | Можно проверять Q3 и отдельные Q4, контролируя ОС и KV-кэш |
| 192–256 ГБ и больше | Выше запас для Q4/Q5 и длинного контекста, но 262K всё равно не обязателен |

[Unsloth публикует](https://unsloth.ai/docs/models/qwen3.8-next) следующие размеры: `UD-IQ1_S` 72,5 ГБ, `UD-IQ1_M` 74,5 ГБ, `UD-Q2_K_XL` 78,9 ГБ, `UD-IQ3_XXS` 82 ГБ, `UD-Q3_K_XL` 90 ГБ, `UD-IQ4_XS` 93,7 ГБ и `UD-Q4_K_XL` 111,3 ГБ. В общей таблице требований одно-, двух-, трёх- и четырёхбитным сборкам отведены 75, 79, 90 и 96–114 ГБ (по состоянию на 12 сентября 2026 года).

Размер файла и безопасный бюджет процесса — разные величины. Добавьте KV-кэш, вычислительные буферы, среду выполнения, ОС и клиент. Для обработки изображений нужен отдельный визуальный проектор; в текущем GGUF-репозитории его BF16-вариант занимает около 908 МБ. Если система уходит в постоянную подкачку на диск, модель формально загрузилась, но конфигурация не стала полезной.

![Пошаговый русский план Qwen3.8-Flash-Next: реальный бюджет памяти, таблица GGUF Unsloth, запуск по обозначению сборки, проверка первого сеанса и условия, при которых запуск имеет смысл](https://www.aifreeapi.com/posts/ru/qwen3-8-flash-next-unsloth-local/img/memory-quant-launch-plan.webp)

## Не перепутайте Flash-Next, Flash и 27B

`Qwen/Qwen3.8-Flash-Next` — мультимодальная MoE с открытыми весами и ранняя версия архитектуры будущего Qwen4. Qwen сочетает Gated DeltaNet с Qwen Sparse Attention, а N-gram embeddings увеличивают ёмкость и лучше подходят для выгрузки в оперативную память.

`Qwen3.8-Flash` — управляемая версия в сервисе Qwen. По описанию Qwen, у неё по умолчанию контекст в миллион токенов и встроенные инструменты. Локальный GGUF не получает эти продуктовые функции автоматически.

`Qwen3.8-27B` — отдельная плотная модель. Если у вас 24–48 ГБ, полезнее начать с [руководства по Qwen3.8-27B для локального агента программирования](/ru/posts/qwen3-8-27b-local-agentic-coding), а не пытаться превратить Flash-Next в маленькую модель постоянной выгрузкой весов на диск.

Результаты Qwen по программированию, агентным задачам и вызову инструментов объясняют интерес к модели, но получены производителем в определённой тестовой среде. Они не доказывают качество 1-bit GGUF и не предсказывают скорость конкретного Mac или GPU+RAM.

## Запуск по обозначению квантованной сборки

Используйте свежую сборку llama.cpp, где есть поддержка новой архитектуры. Текущая страница [Unsloth GGUF](https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF/tree/main) позволяет выбрать квантованную сборку по её обозначению:

```bash
llama serve -hf unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
```

На машине класса 96 ГБ замените Q4 на вариант, который помещается с запасом. Команда Unsloth выглядит так:

```bash
unsloth run --model unsloth/Qwen3.8-Flash-Next-GGUF:UD-Q4_K_XL
```

Обозначение сборки помогает избежать ошибки при ручном указании пути. В инструкции Unsloth, проверенной 12 сентября, пример запуска всё ещё сочетает каталог `UD-IQ1_S` с именем файла `UD-Q4_K_XL`. При ручном скачивании сверяйте реальные имена частей модели и передавайте движку путь к первой части выбранной сборки.

Начните с контекста в 8 или 16 тысяч токенов. Нативные 262 144 токена и расширение до миллиона описывают максимум модели, а не обязательную локальную настройку. Увеличивайте контекст ступенями и следите за памятью и временем обработки запроса.

## Проверка важнее факта загрузки

Первый сеанс должен ответить на пять вопросов:

1. Доступен ли локальный `/v1/models` и какой идентификатор модели возвращает сервер?
2. Загружена ли выбранная квантованная сборка Flash-Next, а не 27B или облачная модель?
3. Сколько памяти остаётся после загрузки, нет ли постоянной подкачки и сколько занимает первый токен?
4. Что происходит при одинаковом запросе и контексте в 8, 16 тысяч токенов и больше?
5. Если нужен агент, правильно ли передаются имя инструмента, типы аргументов, результат функции и следующий ход?

После этого дайте двум-трём квантованным сборкам один набор из 5–10 проверяемых задач. Считайте завершённые задачи, ручные исправления, сбои инструментов и полное время. Измерение Unsloth по KLD и top-1 recovery полезно для предварительного выбора, но оно не показывает долю успешно выполненных задач вашего проекта.

Нехватка памяти, постоянная подкачка, некорректный JSON вызова инструмента после длинного запроса или неприемлемая задержка — основания отказаться от этой конфигурации. Сократите контекст, выберите другую квантованную сборку или меньшую модель. Бесконечная настройка не исправляет нехватку физической памяти.

![Карта локальной памяти и проверки Qwen3.8-Flash-Next с квантами Unsloth, уровнями 64–256 ГБ, командами запуска, составом памяти и критериями пригодности](https://www.aifreeapi.com/posts/ru/qwen3-8-flash-next-unsloth-local/img/local-memory-validation-map.webp)

## Когда эксперимент оправдан

Flash-Next имеет смысл проверять, если доступно хотя бы около 96 ГБ, вы принимаете ограничения низкобитного квантования и вам действительно нужна большая ёмкость для агентных задач или работы с длинным контекстом. Для Q3/Q4 заметно удобнее реально свободные 128 ГБ, особенно если на машине можно закрыть IDE, браузер и сборки.

Если нужен лёгкий фоновый помощник или потолок составляет 64 ГБ, меньшая модель даст более предсказуемую задержку и меньше времени на настройку. Архитектура Flash-Next снижает вычисления на токен, но не отменяет хранение большой таблицы весов и N-gram embeddings.

Перед скачиванием проверьте [официальный репозиторий Qwen](https://github.com/QwenLM/Qwen3.8-Flash-Next) и актуальную [инструкцию Unsloth](https://unsloth.ai/docs/models/qwen3.8-next). На страницах весов сейчас указана лицензия `qwen-community-1.0`; для коммерческого использования или распространения нужно читать сам текст лицензии, а не только метку.