Muse Spark Open: Meta выпустила открытую MoE-модель на 816B параметров

Meta Superintelligence Labs выложила в открытый доступ Muse Spark Open — открытую версию своей модели Muse Spark. Это Mixture-of-Experts на 816 млрд параметров, из которых на каждый токен активируется 42 млрд. Модель принимает текст, изображения, видео и аудио, возвращает текст и держит контекстное окно в 1 млн токенов. В Meta называют её самой способной открытой моделью из США на сегодня. Но для разработчиков главная новость — не размер, а требования к железу: сборка в NVFP4 запускается на двух Apple M5 Ultra Mac Studio.

Что внутри: 62 слоя, 256 экспертов и отдельный энкодер для картинок

Архитектура описана в карточке модели: 62 слоя, скрытая размерность 8192. В каждом слое MoE — 256 экспертов, маршрутизация top-k активирует 8 из них на токен. Внимание — grouped-query: 128 голов запросов и 16 голов ключей/значений. За визуальный вход отвечает отдельный Perception Encoder на 1,8 млрд параметров. Словарь — 202 048 токенов, обучающие данные покрывают более 100 языков.

Глубину рассуждений задаёт параметр reasoning_effort со значениями low, medium, high и xhigh; по умолчанию стоит xhigh. Веса выложены на Hugging Face в форматах BF16 и NVFP4. Открытая версия прошла дополнительное обучение по безопасности — по заявлению команды Meta, это делает её устойчивее без системных ограничителей. Опубликованная ранее открытая MoE-модель Meta на 816B параметров — та же линейка, о которой идёт речь.

Бенчмарки: сильна в инструментах, отстаёт в коде

Сравнение Meta проводит с Kimi K3, GLM 5.3, Qwen3.8-2.4T-A95B и другими моделями при максимальном уровне рассуждений. Лучшие результаты — там, где нужно вызывать инструменты и надёжно работать со знаниями:

  • MCP-Atlas — 89,2 против 84,5 у Qwen3.8 и 84,2 у GLM 5.3;
  • JobBench — 61,8, немного впереди GLM 5.3 с 61,4;
  • HLE-Diamond без инструментов — 26,1 против 22,2 у Kimi K3;
  • AA Omniscience — 25, лучший результат в таблице Meta;
  • ZeroBench с инструментами — 50,0 против 41,0 у Kimi K3.

Слабое место — программирование. На Terminal-Bench 2.1 с харнессом Terminus 2 модель набирает 76,4, тогда как Kimi K3 доходит до 85,0, GLM 5.3 — до 83,9, Qwen3.8 — до 82,0. Индекс интеллекта Artificial Analysis у неё 39 — позади GLM 5.3 (45), Kimi K3 (44) и Qwen3.8 (40). То есть титул «самая способная среди американских открытых» держится, но китайские открытые модели в целом по-прежнему впереди. Часть оценок соперников заявлена самими вендорами, методика оценки перечисляет источники по каждому числу. Если задача — именно кодинг-агенты, стоит смотреть и на открытую MoE-модель на 501B параметров для кода и агентов.

Сколько железа нужно

По руководству для разработчиков, веса в BF16 занимают около 1,6 ТБ. Квантизация NVFP4 сжимает только экспертов и укладывается примерно в 530 ГБ. Карточка модели рекомендует не меньше 700 ГБ видеопамяти для NVFP4 и 2 ТБ для BF16.

  • Дата-центр: NVFP4 на 4 GPU Blackwell Ultra или на 8 H200.
  • Настольный вариант: два M5 Ultra Mac Studio по 512 ГБ, соединённых по Thunderbolt 5 с RDMA; тензорный параллелизм MLX делит каждый слой между обеими машинами.
  • Рабочая станция: динамические GGUF от Unsloth вплоть до 2 бит помещаются примерно в 300 ГБ суммарной памяти.

Где запускать и на каких условиях

Движки первого дня — SGLang, vLLM, TensorRT-LLM, Hugging Face Transformers, MLX, llama.cpp и Unsloth. Хостинговые API уже доступны у Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. В OpenRouter цены — $1,25 за 1 млн входных токенов и $4,25 за 1 млн выходных. Декодирование ускоряют две черновые модели: DFlash V2 для SGLang и DSpark для vLLM; Meta сообщает о 3,7-кратном росте пропускной способности одиночного запроса с DFlash V2 на AMD MI355X. Дообучение поддерживают TorchTitan, Hugging Face TRL и NVIDIA NeMo AutoModel.

Лицензия Muse Model License разрешает использование, дообучение, дистилляцию и распространение. Важны два условия: продукты обязаны показывать надпись «Built with Muse Spark Open», а провайдеры model-as-a-service с выручкой выше $20 млн за 12 месяцев должны заключить с Meta отдельное соглашение. Внутреннее использование, исследования и работа модели внутри собственного продукта под ограничение по выручке не попадают.

Как Muse Spark Open выглядит рядом с конкурентами

Параметр Muse Spark Open Kimi K3 GLM 5.3 Qwen3.8-2.4T-A95B
Всего параметров 816B 2,8T 753B 2,4T
Активных параметров 42B 104B ~40B 95B
Контекст 1M 1 048 576 1 048 576 262 144, до 1 010 000
Ввод Текст, изображение, видео, аудио Текст, изображение, видео Текст Текст
Лицензия Muse Model License Kimi K3 License glm-5.3 license qwen3.8-max license
Веса BF16, NVFP4 MXFP4 (QAT) BF16, FP8 BF16
AA Intelligence Index (по данным Meta) 39 44 45 40
Terminal-Bench 2.1, Terminus 2 (по данным Meta) 76,4 85,0 83,9 82,0
MCP-Atlas (по данным Meta) 89,2 82,3 84,2 84,5
Toolathlon Verified (вендор) 72,8 76,5 73,0 72,5
HLE с инструментами (вендор) 61,0 56,0 62,5 56,2
DeepSWE 1.1 (вендор, свой харнесс) 60 67,5 66,9 56,6
Настольная конфигурация 2x M5 Ultra Mac Studio Не раскрыта Не раскрыта Не раскрыта

Для администратора, который выбирает открытую модель под внутренние задачи, картина такая: если основная нагрузка — агентные сценарии с вызовом инструментов и работа со знаниями, Muse Spark Open даёт лучшие цифры в своей таблице. Если это генерация кода и терминальные задачи, разумнее смотреть на Kimi K3, GLM 5.3 или Qwen3.8. Практический порог входа тоже разный: 300 ГБ памяти под 2-битный GGUF — это уже не серверная стойка, а хорошо укомплектованная рабочая станция, тогда как 2 ТБ под BF16 без вариантов требуют дата-центра.

Частые вопросы

Кого касается эта новость?

Команд, которые разворачивают открытые модели у себя: для агентных сценариев с вызовом инструментов и работы со знаниями Muse Spark Open даёт лучшие результаты в сравнительной таблице Meta. Тех, кто генерирует код, модель скорее разочарует.

Сколько памяти нужно минимум?

Карточка модели рекомендует не меньше 700 ГБ видеопамяти для NVFP4 и 2 ТБ для BF16. Квантизованные GGUF от Unsloth вплоть до 2 бит помещаются примерно в 300 ГБ суммарной памяти.

Можно ли запустить её на обычном ПК?

Настольная конфигурация из материалов Meta — два M5 Ultra Mac Studio по 512 ГБ, связанные по Thunderbolt 5 с RDMA. Одиночной потребительской видеокарты в списке поддерживаемых вариантов нет.

Какие есть форматы весов?

На Hugging Face выложены BF16 и NVFP4. BF16 занимает около 1,6 ТБ, NVFP4 сжимает только экспертов и укладывается примерно в 530 ГБ.

Как выбрать глубину рассуждений?

Параметр reasoning_effort принимает значения low, medium, high и xhigh. По умолчанию включён xhigh — это максимальная глубина и, соответственно, наибольший расход вычислений.

Можно ли использовать модель в коммерческом продукте?

Да, лицензия Muse Model License разрешает использование, дообучение, дистилляцию и распространение. Но продукт обязан показывать надпись «Built with Muse Spark Open».

Кому нужен отдельный договор с Meta?

Провайдерам model-as-a-service с выручкой выше $20 млн за 12 месяцев. Внутреннее использование, исследования и работа модели внутри собственного продукта под это условие не попадают.

Где уже доступны API?

У Baseten, Fireworks AI, Groq, Modal, Nebius, OpenRouter и Together AI. В OpenRouter цена — $1,25 за 1 млн входных токенов и $4,25 за 1 млн выходных.

Чем дообучать?

Поддерживаются TorchTitan, Hugging Face TRL и NVIDIA NeMo AutoModel. Декодирование ускоряют черновые модели DFlash V2 для SGLang и DSpark для vLLM.

Источник: marktechpost.com