NVIDIA выложила в открытый доступ Nemotron 3.5 Bolt E4B — малую языковую модель для локальных разговорных агентов. Она рассчитана на голосовые ассистенты, персонажей игр и интерфейсы роботов, работающие прямо на устройстве: GeForce RTX, Jetson и Spark. Модель дообучена от Google Gemma 4 E4B только через обучение с подкреплением, без этапа supervised fine-tuning.
Заявка простая: поведение агента укладывается примерно в 4 ГБ видеопамяти, а остальное место остаётся под модели речи и зрения. Уточним сразу: «4 ГБ» — это целевой объём памяти, а не размер файла. Квантованный Q4_K_M GGUF на Hugging Face весит 6,18 ГБ.
Что умеет Bolt E4B
Модель наследует архитектуру Gemma 4 E4B и заявлена как третье поколение малой модели для игровых персонажей NVIDIA ACE. В карточке релиза перечислены ключевые возможности:
- многоходовый вызов инструментов, включая указания для асинхронных вызовов;
- флаг
conversational_modeдля коротких ответов, удобных для синтеза речи; - настраиваемое рассуждение и бюджет «размышлений» во время работы, чтобы ограничить задержку;
- контекст 64K — под историю диалога, описания инструментов и состояние приложения.
NVIDIA называет три целевые нагрузки: голосовые и устройств-ассистенты, интерактивные персонажи, встраиваемые и промышленные агенты. В исследовательском отчёте описан демо-сценарий: робот Reachy Mini на Jetson Orin Nano 8GB, где Cosmos 3 Edge отвечает за зрение, а Bolt — за речевые ответы и вызовы инструментов.
Как обучали: только RL, без SFT
NVIDIA сознательно отказалась от supervised fine-tuning. По данным отчёта, SFT улучшал вызов инструментов, но портил разговорное качество Gemma и делал ответы многословнее. Вместо этого команда использовала RLVR и RLHF через NeMo-RL и NeMo-Gym.
Каждый обучающий пример прогонялся в двух режимах — с рассуждением и без. В батче держали пропорцию 2:1 в пользу примеров без рассуждения. Штрафы за длину в среде GenRM не давали ответам разрастаться по ходу обучения. Датасеты и полный рецепт обучения опубликованы.
Для развёртывания BF16-чекпоинт квантовали в Q4_K_M с калибровкой по матрице важности. На калибровку ушло около 1 млн токенов RL-прогонов. В релиз также входит DFlash drafter для спекулятивного декодирования: на RTX 5070 связка Bolt с DFlash выдала 272,6 токена/с против 225,9 токена/с у Gemma 4 E4B с её MTP drafter — в 1,21 раза быстрее.
Бенчмарки: 15 из 21 в свою пользу
NVIDIA разложила 21 бенчмарк по пяти областям способностей. Все оценки — BF16, измерены самой NVIDIA в её среде NeMo-Gym. В режиме рассуждения Bolt лидировала в 15 строках из 21.
Лучший результат — IHEval 84,8 против 67,0 у Gemma 4 E4B и 60,6 у Qwen3.5-4B. Слабое место — Tau2-Bench: 55,1, примерно на 20 пунктов позади Qwen3.5-4B с её 75,1. Qwen3.5-4B также впереди на RULER 64K (95,1 против 87,0), LongBench v2 (59,9 против 50,5) и BFCL-v3 (70,9 против 68,5). У Gemma 4 E4B небольшое преимущество на EQ-Bench v3 (41,1 против 39,4).
NVIDIA дополнительно сообщает о примерно 40% более высоких средних баллах, чем у Nemotron 3 Nano 4B, и до 80% меньшем числе выходных токенов в сравнениях с включённым рассуждением. Отдельно Scale Labs поставила Bolt на первое место среди малых моделей на MultiChallenge с 56,03% — об этом сообщается в посте в X.
Сравнение с соседями по размеру:
| Параметр | Bolt E4B | Gemma 4 E4B | Qwen3.5-4B | Nemotron 3 Nano 4B |
|---|---|---|---|---|
| Параметры | 8B всего, 4B эффективных | 8B с эмбеддингами, 4,5B эффективных | 4B | 3,97B |
| Контекст | 64K | 128K | 262K | 262K |
| Лицензия | OpenMDW-1.1 | Apache 2.0 | Apache 2.0 | NVIDIA Nemotron Open Model License |
| Входы | текст (в NIM также изображения и звук) | текст, изображения, звук | текст, изображения, видео | текст |
Все строки бенчмарков — оценки NVIDIA в BF16; цифры самого вендора могут отличаться от независимых замеров.
Сколько памяти и как быстро
NVIDIA замерила сборку Q4_K_M в llama.cpp при размере батча 1, на входе 3K токенов и 50 токенах выхода:
| Устройство | VRAM, ГБ | Время до первого токена, мс | Токенов/с |
|---|---|---|---|
| RTX 5070 (12GB) | 3,5 | 548 | 133,4 |
| RTX Spark (32GB) | 3,1 | 930 | 67,0 |
| Jetson AGX Orin (32GB) | 4,2 | 3 687 | 24,0 |
| Jetson Orin Nano (8GB) | 4,2 | 5 785 | 15,5 |
Разброс показателен: на настольной RTX запас по скорости большой, а на Jetson Orin Nano 8GB время до первого токена приближается к шести секундам — для голосового агента это уже чувствуется. Планируя локального ассистента, стоит смотреть не только на объём VRAM, но и на эти задержки.
Где взять
Модель доступна на Hugging Face, в Ollama, LM Studio, Unsloth и Jetson AI Lab. Также она поставляется как NVIDIA NIM и через In-Game Inferencing SDK. Веса открыты, данные и рецепты — под лицензией OpenMDW-1.1. Рядом с релизом опубликованы технический отчёт, GGUF-модель, BF16-модель и рецепт обучения.
Для администратора, который держит локальный инференс, это ещё один вариант под голосовые сценарии: модель не требует отдельного GPU-сервера, а на карте уровня RTX 5070 остаётся место под распознавание речи. Обратная сторона — отставание на задачах вроде Tau2-Bench и BFCL-v3, где Qwen3.5-4B выглядит сильнее; если агент много работает с инструментами, выбор неочевиден. Похожие компромиссы между локальностью и качеством разбирались в материале про DGX Spark 64GB для локальных ИИ-агентов, а вопросы обслуживания таких сборок — в статье про оптимизацию TensorRT за пределами одной системы. Если же нужно раскладывать нагрузку по нескольким GPU, пригодится разбор оркестрации GPU в Kubernetes через Run:ai.
Частые вопросы
Что такое Nemotron 3.5 Bolt E4B?
Открытая малая языковая модель NVIDIA на 8B параметров (4B эффективных) с контекстом 64K. Предназначена для локальных разговорных агентов: голосовых ассистентов, игровых персонажей и интерфейсов роботов.
Хватит ли 4 ГБ видеопамяти?
В тестах NVIDIA сборка Q4_K_M занимала от 3,1 до 4,3 ГБ VRAM в зависимости от устройства. Но сам файл GGUF весит 6,18 ГБ — «4 ГБ» относится к целевому объёму памяти при работе, а не к размеру загрузки.
На каком железе модель запускается?
Заявлены GeForce RTX, Jetson, RTX Spark и DGX Spark. Замеры есть для RTX 5070, RTX Spark 32GB, Jetson AGX Orin 32GB и Jetson Orin Nano 8GB.
Почему NVIDIA не использовала supervised fine-tuning?
По данным отчёта, SFT улучшал вызов инструментов, но ухудшал разговорное качество Gemma и делал ответы более многословными. Поэтому обучение построили на RLVR и RLHF через NeMo-RL и NeMo-Gym.
На каких задачах модель проигрывает конкурентам?
Qwen3.5-4B впереди на Tau2-Bench (75,1 против 55,1), RULER 64K, LongBench v2 и BFCL-v3. Gemma 4 E4B немного сильнее на EQ-Bench v3.
Под какой лицензией выходит модель?
Под OpenMDW-1.1. Это отличается от Apache 2.0 у Gemma 4 E4B и Qwen3.5-4B и от NVIDIA Nemotron Open Model License у Nemotron 3 Nano 4B.
Где скачать модель?
На Hugging Face доступны GGUF-сборка и BF16-чекпоинт, также модель есть в Ollama, LM Studio, Unsloth и Jetson AI Lab. Кроме того, она поставляется как NVIDIA NIM и через In-Game Inferencing SDK.
Насколько быстро работает на настольной карте?
На RTX 5070 сборка Q4_K_M выдала 133,4 токена/с при времени до первого токена 548 мс. С DFlash drafter скорость достигает 272,6 токена/с — в 1,21 раза выше, чем у Gemma 4 E4B с её MTP drafter.
Кому подойдёт эта модель?
Тем, кто делает локальные голосовые сценарии и игровых персонажей и хочет оставить запас VRAM под модели речи и зрения. Если же основная нагрузка — многошаговый вызов инструментов, стоит сравнить с Qwen3.5-4B по своим задачам.
Источник: marktechpost.com