Meta представила Muse Spark Open — открытую модель для агентной разработки на базе смеси экспертов (MoE) с 816 млрд параметров, из которых 42 млрд активируются на каждый токен. Модель обучалась на NVIDIA GB300 NVL72 Blackwell Ultra, а её окно контекста достигает 1 млн токенов — этого достаточно, чтобы удерживать целый проект вместе со сложными зависимостями, легаси-кодом и тысячами файлов, не разбивая задачу на части.
Чем агентная разработка отличается от обычного кодинга
Обычные кодинг-модели рассчитаны на одиночные задачи: сгенерировать функцию, написать юнит-тест, предложить правку в строке. Они хороши там, где контекст невелик, а ответ нужен сразу. Агентная разработка требует другого: планирования рефакторинга сразу в нескольких файлах, навигации по тысячам файлов, восстановления после падающих тестов и координации субагентов на длинных горизонтах.
Muse Spark Open создана именно под такие нагрузки. По заявлению NVIDIA, она даёт более высокую точность с первой попытки, надёжный вызов инструментов и глубокое понимание кодовой базы по репозиториям. Модель планирует, действует, наблюдает и корректирует себя сама, поддерживает многошаговое выполнение задач с использованием инструментов, оценкой вывода и итеративным уточнением. Удержанию направления служит goal conditioning, сохранению накопленного знания в долгих сессиях — context compaction.
Помимо кода, модель ищет в интернете, включая мультимодальный браузинг, порождает и координирует субагентов для разложимых задач, а также использует возможности работы с компьютером, унифицированные для десктопа, мобильных устройств и браузера. Перед каждым действием она формирует отдельный комментарий — разработчик видит, что и зачем делает агент.
Мультимодальность и разреженная маршрутизация
Как reasoning-модель, Muse Spark Open добавляет восприятие аудио и видео к пониманию изображений и документов. Её 1,8B perception-энкодер обрабатывает чередующиеся текст, изображения, видеокадры и звук нативно, без отдельных конвейеров под каждую модальность: модель рассуждает о том, что видит, слышит и читает, за один унифицированный проход. Это подходит для сценариев, где в одной агентной сессии встречаются скриншоты, диаграммы, логи ошибок и видеообзоры.
Разреженная маршрутизация MoE активирует лишь 42 млрд из 816 млрд параметров на токен, что даёт агентные возможности переднего края при доле стоимости обслуживания по сравнению с плотными моделями сопоставимого масштаба.
Что даёт платформа GB300 NVL72
NVIDIA GB300 NVL72 построена по стоечной архитектуре: 72 GPU Blackwell Ultra объединены в единую платформу, а домен NVIDIA NVLink на 72 GPU обеспечивает обмен данными на скорости 130 ТБ/с. Это устраняет узкие места, которые возникают, когда трафик экспертов идёт через обычные сети. Для разреженной MoE-модели вроде Muse Spark Open, направляющей каждый токен к восьми из 256 экспертов, такая полоса напрямую определяет, какую долю теоретической пропускной способности получит развёртывание.
Агентные нагрузки превращают статические одноходовые взаимодействия в многошаговые процессы с вызовом инструментов, координацией субагентов и растущим контекстом от шага к шагу. На NVIDIA GB300 NVL72 Muse Spark Open выдаёт до 50 тыс. токенов в секунду на GPU и до 600 токенов в секунду на пользователя — этого достаточно, чтобы запускать модели с большим числом параметров в продакшене при высокой пропускной способности и низкой задержке.
Варианты развёртывания и дообучение
NVIDIA поддерживает несколько стеков инференса. SGLang, vLLM и TensorRT LLM дают разработчикам прямой контроль над конфигурацией обслуживания, параллелизмом и батчингом на ускоряющей платформе NVIDIA. TensorRT LLM добавляет скомпилированные движки, настроенные под GPU NVIDIA. NVIDIA Dynamo публикует рецепты развёртывания для всех трёх стеков и разделяет prefill и decode по выделенным пулам GPU, чтобы обработка промпта не замедляла генерацию токенов. Маршрутизация с учётом KV-кэша отправляет каждый запрос воркеру, который уже держит нужный префикс, — это избавляет от повторных вычислений по мере накопления контекста в долгих агентных сессиях.
Для дообучения на доменных датасетах есть NVIDIA NeMo AutoModel — нативная для PyTorch библиотека обучения с поддержкой чекпоинтов Hugging Face без конвертации модели. Она даёт полный SFT и тонкую настройку LoRA из коробки и оптимизирована под быстрые эксперименты в отраслевых сценариях. NVIDIA Megatron Bridge пригодится, когда модель готова к крупномасштабному продакшен-обучению: инструмент конвертирует чекпоинты Hugging Face в формат Megatron.
Как начать
NVFP4-чекпоинты Muse Spark Open, сгенерированные Meta и оптимизированные под NVIDIA Blackwell Ultra, сокращают объём памяти под все 816 млрд параметров за счёт нативного ускорения FP4 Tensor Core. Меньше байтов на токен — выше скорость генерации на пользователя, а освободившаяся память позволяет держать больший KV-кэш для параллельных сессий с длинным контекстом.
Веса Muse Spark Open в формате NVFP4 доступны для скачивания на Hugging Face. Для продакшен-развёртываний предлагается загружаемый NVIDIA NIM: он сводит настройку к одной команде и заменяет циклы бенчмаркинга и тюнинга контейнером, который сам выбирает лучший бэкенд обслуживания и точность под обнаруженное оборудование. По теме открытых MoE-моделей для кода также стоит посмотреть на JetBrains Mellum2.1 и Beam от Reflection AI, а для локального запуска агентов — на NVIDIA DGX Spark 64GB.
Частые вопросы
Что такое Muse Spark Open?
Открытая модель Meta на архитектуре смеси экспертов: 816 млрд параметров всего, 42 млрд активируются на токен, окно контекста 1 млн токенов. Она оптимизирована под агентные сценарии разработки.
Сколько параметров активируется на один токен?
42 млрд из 816 млрд. Маршрутизация разреженная: каждый токен направляется к восьми из 256 экспертов.
Зачем модели окно в 1 млн токенов?
Чтобы удерживать целый проект — сложные зависимости, легаси-код и тысячи файлов — без разбиения задачи на части. Это ключевое отличие от моделей для одиночных задач.
Какие модальности поддерживает модель?
Текст, изображения, видео и аудио. Чередующиеся модальности обрабатывает 1,8B perception-энкодер, без отдельных конвейеров под каждую из них.
Какую производительность даёт GB300 NVL72?
До 50 тыс. токенов в секунду на GPU и до 600 токенов в секунду на пользователя на агентных нагрузках.
Какие стеки инференса поддерживаются?
SGLang, vLLM и TensorRT LLM. Для них публикуются рецепты развёртывания в NVIDIA Dynamo, который разделяет prefill и decode по разным пулам GPU.
Как дообучить модель на своих данных?
Через NVIDIA NeMo AutoModel — поддержка полного SFT и LoRA, чекпоинты Hugging Face без конвертации. Для крупного обучения есть NVIDIA Megatron Bridge с конвертацией в формат Megatron.
Где взять веса и как запустить в продакшене?
NVFP4-чекпоинты доступны на Hugging Face. Для продакшена предлагается загружаемый NVIDIA NIM — настройка одной командой с автоматическим выбором бэкенда и точности под оборудование.
Источник: developer.nvidia.com