Инженер Hugging Face Тарек Зиаде (Tarek Ziadé) добавил в Transformers стриминг экспертов MoE-моделей прямо с диска. На ноутбуке Mac M5 с 32 ГБ объединённой памяти модель Qwen3.8-Flash-Next объёмом 121 ГБ в FP8 выдаёт 13,9 tok/s на генерации — всего на 6% медленнее специализированного движка Strata с его 14,8 tok/s. Префилл при этом даже чуть быстрее: 228 против 220 tok/s.
Работа выложена в Space tarekziade/moe-expert-streaming, код — в пул-реквесте huggingface/transformers#50717. Автор подчёркивает: весь код — пул-реквест, пакет под конкретную модель и Metal-ядра — написан с помощью ИИ, его ролью было выбирать, что пробовать, читать профили и решать, что оставить.
Зачем вообще стримить экспертов
В MoE-модели эксперты составляют более 90% весов, но на каждом токене роутер выбирает лишь несколько. У Qwen3.8-Flash-Next 48 слоёв по 512 экспертов, из которых активны 10. Если держать в памяти только горячие эксперты, а остальные — в RAM или на диске, модель на 180B параметров помещается на куда меньшее железо.
Автор сравнил, как с нехваткой памяти справляются три движка:
- llama.cpp отображает GGUF через
mmapи умеет держать экспертов на CPU (--cpu-moe,--n-cpu-moe N,-ot "exps=CPU",--fit on). Эксперты там и вычисляются на CPU, поэтому по PCIe ходят только активации. Пока эксперты влезают в RAM — это отличный вариант; когда не влезают, page cache начинает метаться. Недавний кэш экспертов на GPU (--moe-cache-mib) дробит граф (2 сплита на токен превращаются в 50) и теряет около 10% даже когда всё помещается. - vLLM с
--cpu-offload-gb Nкладёт N ГБ весов в закреплённую RAM, и ядра читают их оттуда по PCIe. Кэша нет: горячий эксперт пересекает PCIe заново на каждом токене, дискового уровня тоже нет. По умолчанию выгружаются и dense-слои, которые читаются всегда;--cpu-offload-params expertsоставляет только экспертов. - Transformers + Accelerate (
device_map="auto",offload_folder) выгружает по одному модулю: хуки копируют его веса на GPU передforward. Для MoE модуль — это весь банк экспертов слоя, поэтому каждый токен копирует всех экспертов всех выгруженных слоёв, чтобы использовать 8–10. Ни кэша, ни понятия маршрутизации. А на Mac CPU и GPU делят одну память, так что «выгрузка на CPU» ничего не освобождает.
Замеры на Qwen3.6-35B-A3B на одной A10G (24 ГБ) с большим запасом RAM показали разрыв: Strata в Q8_0 — 82–88 tok/s, llama.cpp с --fit on — 63–64 в Q8_0 и 35–36 в BF16, vLLM с выгрузкой только экспертов — 20,1 tok/s в FP8, а Transformers + Accelerate — 0,16 tok/s. Выгрузка одних экспертов удваивает скорость vLLM, FP8 помогает ещё больше: вдвое меньше байт на эксперта и больше модели остаётся на GPU.
Как устроен experts_offload
Сначала автор отладил схему на маленькой OLMoE-1B-7B, которая помещается в память целиком, — чтобы сравнивать каждый токен с обычным Transformers. Первая версия с экспертами на диске, LRU-кэшем на устройстве и питоновским циклом по одному эксперту дала 10,1 tok/s против примерно 32 у ванильной модели. Проблема была не в I/O, а в цикле: обычный Transformers использует grouped_mm, который прогоняет всех экспертов слоя одним ядром.
Ключевая идея — превратить кэш в пул слотов: один заранее выделенный тензор на устройстве, общий для всех слоёв, плюс таблица «id эксперта → слот» для каждого слоя. Если переназначить id от роутера на слоты, пул выглядит как обычный банк экспертов, и grouped_mm работает на нём как есть, без собственного матмула для экспертов. Это дало 34,6 tok/s против 38,1 у ванильной модели.
Дальше загрузчик стал опцией from_pretrained. Попробовать можно так:
pip install "git+https://github.com/huggingface/transformers.git@refs/pull/50717/head"
Для Qwen3.8-Flash-Next конфигурация выглядит так:
path = snapshot_download("tarekziade/Qwen3.8-Flash-Next-expert-streaming")
model = AutoModelForCausalLM.from_pretrained(
f"{path}/dense",
dtype=torch.bfloat16,
device_map={"": "mps", "experts.*": "disk"},
quantization_config=MetalConfig(bits=8),
experts_offload={
"cache_bytes": 12 << 30,
"quantized_experts": f"{path}/experts-q3",
},
)
Эксперты с "disk" идут через стриминг, а не через выгрузку Accelerate: загрузчик пропускает их тензоры, а MoE-слои переключаются на выгружаемую реализацию. Промахи читаются 8 потоками ввода-вывода, по одному непрерывному чтению на эксперта. Роутеры следующих двух слоёв запускаются заранее на текущих скрытых состояниях, чтобы угадать, каких экспертов подтягивать. Экспертов можно квантовать заранее, чтобы чтения были меньше. Схема работает для MoE-моделей со стандартной раскладкой экспертов.
API пока обсуждается с мейнтейнерами Transformers. Форма с device_map появилась по итогам обсуждения, а квантованные эксперты, вероятно, пойдут через послойный план квантования из #50245, а не отдельной опцией.
121 ГБ экспертов на 32 ГБ памяти
У Qwen3.8-Flash-Next 48 слоёв по 512 экспертов (10 активных), 121 ГБ в FP8. Одного стриминга мало: есть ещё таблица n-грамм на 51 ГБ, которой нужен собственный дисковый путь. Итоговая раскладка:
- эксперты в 3 битах: 49 ГБ на диске, 12 ГиБ в кэше на устройстве;
- dense-слои в 8 битах (около 5,4 ГБ, +0,2% перплексии к BF16);
- таблица n-грамм остаётся на диске, строки читаются по необходимости.
Конвертация занимает около 5 часов. После загрузки модель использует примерно 18 ГиБ, а на промпте в 6K пик доходит до 25,4 ГиБ. Это почти предел: приходится закрывать браузер, иначе macOS начинает свопить.
Специфичные для модели части — таблица n-грамм и Metal-ядра — живут в небольшом пакете moe-expert-streaming поверх пул-реквеста. Первая версия выдавала около 10 tok/s. Затем автор поставил Strata на тот же M5 и прогнал те же промпты:
| Сценарий | Transformers | Strata | Разрыв |
|---|---|---|---|
| Генерация, 200 токенов | 10,0 tok/s | 14,8 | 1,5x |
| Префилл, промпт 4K | 68 tok/s | 220 | 3,2x |
| Генерация после документа 6K | 7,3 tok/s | 13,7 | 1,9x |
Strata 0.1.60 использовала экспертов IQ3_XXS. Оба движка работали жадно, с выключенными thinking, MTP и спекулятивными черновиками, чанками префилла по 1024 токена.
Отдельно автор проверил vllm-metal — vLLM на Apple GPU через MLX, где недавно появилась выгрузка экспертов. Она стримит маршрутизированных экспертов из MLX-чекпоинта через ограниченный кэш, как и этот проект, но не может запустить Qwen3.8-Flash-Next на 32 ГБ: стримятся только эксперты, а таблицы n-грамм остаются в памяти. Это 32 ГБ в MLX-чекпоинтах на Hub ещё до примерно 5 ГБ dense-слоёв и любого кэша экспертов.
Что дало сокращение разрыва
Большую часть времени съедало не чтение экспертов. Помогло следующее:
- Ранний коммит работы GPU. PyTorch на MPS придерживает мелкие ядра до следующей синхронизации, и GPU простаивал, пока работал Python. Принудительный коммит после каждого блока дал +10%. По мнению автора, это стоило бы починить в самом PyTorch.
- Metal-ядра для участков, где на macOS нет быстрого пути: Gated DeltaNet и hyper-connections.
- Веса из Strata. Переход на GGUF-веса Strata сократил трафик dense-весов с 5,4 до 3,9 ГБ на токен, а размер отдельного эксперта — с 2,15 до 1,75 МБ, с отдельным пулом кэша под каждый размер эксперта.
- Префилл ускорился с 68 до примерно 228 tok/s за счёт больших чанков и чтения экспертов следующего слоя, пока считается текущий.
- Длинные документы: внимание только по выбранным индексером блокам и KV-кэш, который растёт на месте, а не копируется на каждом токене.
- Промахи: Strata их не скрывает, а ждёт, как и автор; ни одна политика кэша не обошла LRU заметно. Помогло чтение всего одного угаданного эксперта на слой, пока SSD иначе простаивал бы.
Итоговые цифры на том же M5 с теми же промптами: генерация 200 токенов — 13,9 tok/s против 14,8 у Strata (1,06x), префилл 4K — 228 против 220 (1,0x), генерация после документа 6K — 12,4 против 13,7 (1,1x).
Оставшееся — это в основном круговые поездки к хосту, около 10 мс на токен. Пробуждение после синхронизации занимает лишь около 1 мс, остальное GPU простаивает, пока Python ставит в очередь следующий слой. Strata ставит в очередь всю работу токена заранее, и GPU ждёт на общем событии Metal на каждом слое, пока хост читает экспертов. PyTorch такого не даёт. Автор пробовал сымитировать это ядром, крутящимся на флаге, который пишет CPU, но GPU видел запись от секунды до никогда. Настоящим решением была бы нативная операция в потоке MPS PyTorch с риском зависаний — её он не строил.
Что осталось за кадром
Transformers так и не обогнал Strata, и на последние 6% нужны более глубокие изменения в стеке, начиная с контроля над послойной синхронизацией, которого PyTorch сегодня не даёт. Но интересно, как удалось подобраться так близко: стриминг только маршрутизированных экспертов, ограниченный кэш, на котором grouped_mm работает как есть, и несколько точечных Metal-ядер. В проекте нет расширения на C++: только Python, Metal-ядра, компилируемые во время выполнения через torch.mps.compile_shader, и готовые ядра с Hub.
Все Metal-ядра, написанные для эксперимента, опубликованы на Hub, и проект загружает их оттуда. Для автора целью было не только обогнать Strata: сборка стала способом разобраться, как MoE и LLM работают с точки зрения систем — насколько разрежена маршрутизация, что даёт кэш экспертов, куда уходит пропускная способность памяти на токен и сколько времени хост и GPU ждут друг друга. Transformers позволяет всё это ковырять по одному модулю за раз.
Для локального инференса это важный сигнал: если раньше MoE-модель на 180B параметров требовала серверной памяти, то теперь её можно запустить на ноутбуке с 32 ГБ, пусть и на скорости около 14 tok/s. Для кодинг-агентов этого по-прежнему мало — автор признаёт, что его домашний ПК с двумя RTX 4090 продолжает делать основную работу. Но для экспериментов и задач, где скорость не критична, порог входа сильно снизился. Похожий сдвиг к локальному запуску виден и в других проектах: например, llama.cpp и ggml 1.0.0 закрепили стабильный API для локального инференса, а Qwen4-Max от Alibaba показал, насколько крупными бывают современные MoE-модели.
Частые вопросы
Что именно добавили в Transformers?
Опцию experts_offload у from_pretrained, которая стримит только маршрутизированных экспертов MoE-модели с диска через ограниченный кэш на устройстве. Она работает для моделей со стандартной раскладкой экспертов.
Какая модель и на каком железе тестировалась?
Qwen3.8-Flash-Next (48 слоёв по 512 экспертов, 10 активных, 121 ГБ в FP8) на MacBook M5 с 32 ГБ объединённой памяти. Для отладки использовалась OLMoE-1B-7B, для сравнения движков — Qwen3.6-35B-A3B на одной A10G.
Насколько быстро это работает?
13,9 tok/s на генерации 200 токенов против 14,8 у Strata, 228 tok/s на префилле 4K против 220 и 12,4 против 13,7 tok/s после документа на 6K. Разрыв с Strata — около 6% на короткой генерации.
Сколько памяти занимает модель?
После загрузки около 18 ГиБ, на промпте 6K пик доходит до 25,4 ГиБ. Эксперты квантованы в 3 бита (49 ГБ на диске, 12 ГиБ кэша), dense-слои в 8 битах (около 5,4 ГБ), таблица n-грамм остаётся на диске.
Можно ли запустить это на обычной видеокарте, а не на Mac?
Схема рассчитана на MoE-модели со стандартной раскладкой экспертов и путь "disk" в device_map. В статье тесты проводились на Apple M5 и A10G; для других конфигураций готовых замеров не приводится.
Почему не взять готовую Strata?
Strata быстрее и уже работает, но автору было важно добавить стриминг в сам Transformers, чтобы им можно было пользоваться как обычной библиотекой, а не отдельным движком. Кроме того, vllm-metal не смог запустить эту модель на 32 ГБ из-за таблицы n-грамм.
Что мешает догнать Strata полностью?
Круговые поездки к хосту — около 10 мс на токен. Strata ставит в очередь всю работу токена заранее и синхронизируется через общее событие Metal, а PyTorch не даёт контролировать послойную синхронизацию. Автор не стал делать нативную операцию из-за риска зависаний.
Где посмотреть код и бенчмарки?
Пул-реквест — huggingface/transformers#50717, бенчмарки и детали — в Space tarekziade/moe-expert-streaming. Metal-ядра опубликованы на Hub, проект загружает их оттуда.
Это уже можно использовать в продакшене?
API ещё обсуждается с мейнтейнерами Transformers, а форма с device_map может измениться. Автор ставил целью разобраться в системах, а не сделать готовый к продакшену движок, и признаёт, что для его работы с кодинг-агентами скорости не хватает.
Источник: huggingface.co