NVIDIA выпустила Nemotron 3.5 Transcribe — открытую речевую модель (speech LLM) для транскрибации. Одна модель закрывает 40 языков и записи длительностью до одного часа, а стиль вывода задаётся текстовой инструкцией. Среди вариантов — дословная расшифровка, литературная запись, разметка говорящих, учёт контекста и перевод. По замыслу вендора, разработчик может заменить этим одну моделью сразу несколько отдельных инструментов: распознавание речи, диаризацию и выравнивание.
Модель позиционируется как специалист по транскрибации, а не универсальный ассистент. В техническом отчёте NVIDIA аргументирует это тем, что единственно правильной расшифровки не существует: числа, слова-заполнители и отраслевые термины зависят от того, кто читает результат.
Три части архитектуры: энкодер, диаризатор и MoE-бэкбон
Внутри три составных блока. Первый — параллельный экспертный энкодер: обучаемый трансформерный ASR-энкодер на 0,6B параметров работает рядом с замороженной моделью Nemotron 3 Diarization. Диаризатор отслеживает до 8 говорящих, и его данные об активности спикеров добавляются к признакам ASR каждые 80 мс. Так языковая модель видит, кто и когда говорил, без изменений в архитектуре.
Второй блок — основа LLM: Nemotron 3.5 Lightning 30B-A3B, гибридная Mamba-Transformer MoE. В ней 52 слоя: 23 слоя Mamba-2, 23 слоя MoE и всего 6 слоёв внимания. Каждый слой MoE маршрутизирует запрос к 6 из 128 экспертов плюс одному общему эксперту. Малое число слоёв внимания держит KV-кэш небольшим — это и позволяет обрабатывать аудио длиной в час.
Третий блок — надстройки: общий слой multi-token prediction (MTP) черновит токены для спекулятивного декодирования, а CTC-адаптер на 50M параметров выравнивает готовый текст с аудио, чтобы получить метки времени по словам.
В названии модели фигурирует 30B-A4B, но в чекпоинте около 34B параметров. Лишний вес дают модуль MTP на 1,3B и аудиокомпоненты. Обучение прошло один этап supervised fine-tuning на 256 GPU H100 за 28 500 шагов, затем короткий этап обучения с подкреплением: 400 обновлений GSPO с наградой «единица минус WER». Модель видела около 1,72 млн уникальных часов аудио, а с повторами — 6,5 млн часов.
Результаты: лучший открытый WER, но коммерческие API впереди
Все цифры ниже приводит сама NVIDIA в техническом отчёте. На девяти публичных наборах English Open ASR средний WER составил 4,71%. Следующая открытая модель, Qwen3-ASR-1.7B, даёт 4,94%. При этом семь коммерческих систем по-прежнему впереди, а лидирует OtterAI speech-v3.1 с 3,88%.
На Multilingual Open ASR по семи языкам у Nemotron 3.5 Transcribe 4,62% среднего WER против 6,49% у Qwen3-ASR-1.7B; ElevenLabs Scribe v2 показывает 3,56%. На длинных записях — 10,98% против 13,37% у Parakeet-TDT-0.6B-v3. На полных сессиях с несколькими говорящими — 15,80% cpWER против 16,83% у DiCoW v3.3 с DiariZen; NVIDIA заявляет, что это первая SALM, обошедшая каскадные системы на этой задаче. А список сущностей в контексте снижает WER по именованным сущностям на ContextASR-Bench с 12,21% до 2,20%.
Слабое место — мандаринские совещания: 34,95% cpCER на AliMeeting Mandarin far-field meetings. Также в минусах — работа только в офлайн-режиме и проблемы с переключением языков внутри речи.
Как развернуть и какие есть ограничения
Веса поставляются в BF16, FP8, NVFP4 и GGUF; опционально доступна черновая модель DFlash2. Лицензия OpenMDW-1.1 разрешает коммерческое использование. Среди сред исполнения — vLLM 0.32.0 с плагином NeMo Speech, Transformers и SGLang-Omni 0.2.0; vLLM предоставляет API, совместимый с OpenAI.
По железу: BF16-вариант помещается на одну H100 80 GB. Чекпоинты в FP8 занимают около 35 ГБ, в NVFP4 — около 21 ГБ, и NVFP4 работает на RTX 5090. Файлы GGUF рассчитаны на NeMo-Speech.cpp.
Основная скорость идёт от NIM Nemotron Transcribe. С NVFP4 и DFlash2 одна RTX PRO 6000 Blackwell Server Edition расшифровывает 2238 секунд аудио за секунду и возвращает 30-секундный фрагмент за 0,13 секунды. Но эти оптимизации пока не открыты: NVIDIA ожидает, что путь через vLLM в день релиза будет примерно вдвое медленнее. На одной H100 в BF16 с MTP2 вендор оценивает производительность примерно в 410 RTFx.
Для дообучения NVIDIA проверила 17 задач; каждая заняла от 0,5 до 2,3 GPU-часа на одной GB300.
Чем Nemotron 3.5 Transcribe отличается от других открытых ASR
| Параметр | Nemotron 3.5 Transcribe | Qwen3-ASR-1.7B | Canary-Qwen-2.5B | Whisper-large-v3 |
|---|---|---|---|---|
| Параметры | 34B всего, ~4,3B активных | 1,7B | 2,5B | 1,55B |
| Языки | 40 | 30 + 22 китайских диалекта | только английский | 99 (по тегу HF) |
| Аудио на запрос | 1 час | не раскрыто | 40 с при обучении | окно 30 с, длинное — чанками |
| Разметка говорящих | встроена, до 8 | не указана | не указана | не указана |
| Метки времени по словам | встроены (CTC-адаптер) | через отдельный ForcedAligner-0.6B | не указаны | есть, по словам |
| Лицензия | OpenMDW-1.1 | Apache-2.0 | CC-BY-4.0 | Apache-2.0 |
Сравнивать строки WER из разных источников нужно осторожно: оценки конкурентов на текущем наборе из 9 наборов взяты из отчёта NVIDIA со ссылкой на результаты лидерборда Hugging Face за октябрь 2026 года. Набор лидерборда менялся с тех пор, как конкуренты публиковали свои карточки моделей, поэтому две строки WER не взаимозаменяемы.
Что это даёт на практике
Для администратора, которому нужно расшифровывать совещания, интервью или звонки, ценность в первую очередь в том, что одна модель отдаёт и текст, и разметку спикеров, и метки времени, и перевод — без сборки конвейера из отдельных инструментов. Уже есть открытая малая модель NVIDIA для локальных голосовых агентов — она закрывает другой сценарий, где важна работа на слабом железе, а не качество расшифровки длинных записей.
Если нужен именно качественный текст, стоит помнить, что коммерческие API пока впереди по WER, а офлайн-режим означает отсутствие потоковой расшифровки. Для тех, кто разворачивает локальный инференс, пригодятся материалы про маршрутизатор NVIDIA PAIR между RTX, DGX Spark и Mac и про оркестрацию GPU в Kubernetes.
Частые вопросы
Кого касается этот релиз?
Тех, кто делает локальную транскрибацию: команды, которым нельзя отправлять аудио во внешние сервисы, и разработчиков, собирающих конвейеры обработки записей. Модель открытая, лицензия OpenMDW-1.1 разрешает коммерческое использование.
Сколько железа нужно, чтобы её запустить?
BF16-вариант помещается на одну H100 80 GB. Если есть RTX 5090, подойдёт чекпоинт NVFP4 объёмом около 21 ГБ. FP8-вариант занимает около 35 ГБ.
Можно ли использовать модель в коммерческом продукте?
Да, лицензия OpenMDW-1.1 допускает коммерческое использование. Ограничение другое: оптимизации NIM, дающие основную скорость, пока не открыты.
Насколько быстро она работает?
С NVFP4 и DFlash2 на одной RTX PRO 6000 Blackwell Server Edition — 2238 секунд аудио за секунду и 30-секундный фрагмент за 0,13 секунды. Путь через vLLM в день релиза будет примерно вдвое медленнее, по оценке NVIDIA. На одной H100 в BF16 с MTP2 ожидается около 410 RTFx.
Поддерживается ли потоковая расшифровка?
Нет, модель работает только офлайн. Это один из двух главных минусов релиза наряду со слабым качеством на мандаринских совещаниях.
Как задать стиль вывода?
Текстовой инструкцией к запросу. Доступны дословный вариант, литературная запись, разметка говорящих, работа с контекстом и перевод.
Есть ли метки времени по словам?
Да, их даёт CTC-адаптер на 50M параметров, который выравнивает готовый текст с аудио. Отдельный инструмент выравнивания не нужен.
Как модель показывает себя на русском?
В отчёте приведены результаты по 40 языкам, но конкретных цифр по русскому донор не приводит. Ориентироваться стоит на средний WER по семи языкам Multilingual Open ASR — 4,62%.
Источник: marktechpost.com