Mistral AI выпустила семейство речевых моделей Voxtral 3 — три модели распознавания речи, одну модель синтеза и голосовой SDK на базе LiveKit. Все четыре модели доступны в публичном превью через Mistral API, на европейском, американском и глобальном эндпоинтах. Задача семейства — закрыть весь голосовой контур в одном месте: слушать, рассуждать, вызывать инструменты и отвечать голосом.
Что вошло в семейство
В линейке четыре модели и один SDK:
- Voxtral Small Transcribe 3 — флагманская пакетная транскрипция с диаризацией. Документация также перечисляет перевод, вопросы-ответы по речи, суммаризацию и вызов функций.
- Voxtral Mini Transcribe 3 — модель на 4 млрд параметров для более дешёвых и быстрых пакетных задач. Размер Small не раскрывается.
- Voxtral Mini Transcribe Realtime 3 — потоковое распознавание по WebSocket с определением конца реплики.
- Voxtral Speech 3 — синтез речи, в анонсе также называется Voxtral Mini TTS 3.
Обе пакетные модели заявлены с контекстом 32k. Все модели транскрипции поддерживают диаризацию и контекстное смещение (context biasing): ключевые термины или свободный текст повышают полноту распознавания. Пакетная транскрипция покрывает 50 языков, включая 24 официальных языка ЕС. Требования к GPU и объёму видеопамяти не раскрываются; Mistral отмечает, что Mini подходит для сред с ограниченными ресурсами. Запускать модели можно через Mistral API или на собственной инфраструктуре — через отдел продаж Mistral.
Речевые модели Mistral выходят следом за релизом Mistral Large 4 с открытыми весами, так что теперь у вендора есть и языковая, и голосовая части стека.
Как устроен голосовой SDK
SDK построен на LiveKit и сводит три стадии в один потоковый конвейер. Realtime Transcribe 3 слушает и определяет, когда вызывающий замолчал. Универсальная языковая модель, например Mistral Small 4, рассуждает и вызывает инструменты. Voxtral Speech 3 отвечает в тоне, заданном разговором. Каждый ход укладывается менее чем в секунду, а когда вызывающий перебивает, агент замолкает. Звонки идут по SIP, сессии в браузере или приложении — по WebRTC. Поскольку каждая стадия — отдельная модель, команды могут менять языковую модель, голос или язык независимо друг от друга.
Точность: сильная диаризация, отставание в реальном времени
Цифры ниже приводит сама Mistral. На FLEURS 45 (WER, принудительный / определённый язык) Small показывает 4,1% / 4,0%, столько же у MAI-Transcribe-2; Mini — 4,6% / 4,5%, Whisper large-v3 — 16,0% / 14,9%. По диаризации (cpWER, пять публичных наборов) Small даёт 18,4%, Mini — 18,6%, тогда как Pyannote — 19,0%, а MAI-Transcribe-2 — 20,3%. По полноте ключевых фраз на Earnings 22 Small с контекстом выходит на 94,6% против 81,4% без контекста; Scribe v2 — 94,3% и 84,0%.
На независимом рейтинге Artificial Analysis Small получает 2,1% AA-WER, Mini — 2,2%. Выше только Fun-Realtime-ASR-preview (1,7%) и MAI-Transcribe-2 (2,0%). Разрыв — в скорости: у Small коэффициент скорости 65,8x против 307,5x у MAI-Transcribe-2.
В реальном времени модель торгует точностью за задержку. На FLEURS 35 она даёт 5,7% WER при 2 400 мс и 6,4% при 480 мс, а при 240 мс WER растёт до 7,4%. Для сравнения: Gemini 3.5 Realtime Transcribe — 4,2%, MAI-Transcribe-2 Streaming — 5,8%, GPT Live Transcribe — 8,4%, Scribe v2 Realtime — 8,7%. То есть при 240 мс Voxtral уступает первым двум, но опережает последние две модели.
Цены и варианты запуска
По прайс-листу Mistral:
- Voxtral Mini Transcribe 3 (пакетно) — $0,0035 за минуту;
- Voxtral Small Transcribe 3 — $0,004 за минуту;
- Voxtral Mini Transcribe Realtime 3 — $0,008 за минуту;
- Voxtral Speech 3 (пакетно и в реальном времени) — $13 за 1 млн символов;
- голосовой API агента — $0,04 за минуту с Mistral Small 4 и $0,08 за минуту с любой другой моделью рассуждения.
Синтез за $13 за 1 млн символов, по утверждению Mistral, дешевле OpenAI TTS-1, Deepgram, ElevenLabs Flash и Gemini Flash. Управлять голосом можно явно: эмоция, темп и ударение. На странице модели указаны около 90 мс до первого аудио и 34 тега эмоций; Pro Voice адаптирует стиль говорящего по 30 минутам аудио. Artificial Analysis ставит модель в топ-12 обоих TTS-рейтингов. OpenRouter также перечисляет все три новые модели с эндпоинтами в ЕС и нулевым хранением данных.
Синтез речи — направление, где за последний год вышло несколько заметных релизов; для сравнения стоит посмотреть на голосовые модели Gemini 3.8 Flash TTS, которые Google позиционирует в том же сегменте.
Как Voxtral 3 смотрится на фоне конкурентов
Сводка по Small Transcribe 3 и трём конкурентам (данные Mistral и Artificial Analysis):
| Параметр | Voxtral Small Transcribe 3 | MAI-Transcribe-2 | ElevenLabs Scribe v2 | Gemini 3.5 Transcribe |
|---|---|---|---|---|
| Языки | 50 | 60 | 90+ | 85+ |
| FLEURS 45 WER | 4,1% / 4,0% | 4,1% / 4,0% | 4,9% / 4,9% | 6,1% / 4,5% |
| Диаризация cpWER | 18,4% | 20,3% | 23,0% | 38,4% |
| AA-WER | 2,1% | 2,0% | 2,2% | 2,6% |
| Коэффициент скорости AA | 65,8x | 307,5x | 65,4x | 89,5x |
| Цена за 1 000 мин | $4,00 | $1,67 | $3,67 | $5,00 |
Картина простая: по точности и диаризации Voxtral конкурентоспособен, по скорости пакетной обработки заметно отстаёт от MAI-Transcribe-2, а в реальном времени проигрывает Gemini 3.5 Realtime. Открытые веса не анонсировались.
Частые вопросы
Кого касается релиз?
Разработчиков голосовых интерфейсов, колл-центров и сервисов транскрипции, которым нужны распознавание, синтез и агент в одном API. Модели доступны в публичном превью, то есть уже пригодны для тестов, но не объявлены стабильными.
Чем Small Transcribe 3 отличается от Mini Transcribe 3?
Small — флагманская пакетная модель с диаризацией и дополнительными возможностями вроде перевода и вызова функций. Mini — модель на 4 млрд параметров для более дешёвых и быстрых задач; Mistral рекомендует её для сред с ограниченными ресурсами.
Сколько стоит транскрипция минуты аудио?
Пакетная Mini — $0,0035 за минуту, пакетная Small — $0,004, потоковая Mini Realtime — $0,008. Для сравнения, у MAI-Transcribe-2 в таблице указана цена $1,67 за 1 000 минут по ограниченному предложению, у Scribe v2 — $3,67.
Поддерживается ли русский язык?
Донор перечисляет 50 языков для пакетной транскрипции и отдельно упоминает 24 официальных языка ЕС. Русский в этом перечне не назван, поэтому проверять его поддержку нужно в документации Mistral.
Можно ли запустить модели у себя?
Да, Mistral предлагает запуск на собственной инфраструктуре через отдел продаж. Требования к GPU и видеопамяти при этом не раскрываются, так что оценить стоимость железа по анонсу нельзя.
Что такое контекстное смещение?
Это передача ключевых терминов или свободного текста, чтобы модель лучше распознавала нужные слова. На Earnings 22 полнота ключевых фраз у Small выросла с 81,4% без контекста до 94,6% с ним.
Насколько быстро отвечает голосовой агент?
Каждый ход укладывается менее чем в секунду, а агент замолкает, когда вызывающий перебивает. Синтез речи заявляет около 90 мс до первого аудио.
Какие каналы связи поддерживает SDK?
Телефонные звонки по SIP и сессии в браузере или приложении по WebRTC. Конвейер собран на LiveKit, а стадии можно менять по отдельности.
Есть ли открытые веса?
Нет, открытые веса не анонсировались. Доступ — через Mistral API или собственную инфраструктуру по договору с Mistral.
Где Voxtral проигрывает конкурентам?
В реальном времени: при задержке 240 мс WER составляет 7,4% против 4,2% у Gemini 3.5 Realtime Transcribe. В пакетном режиме скорость обработки ниже, чем у MAI-Transcribe-2 (65,8x против 307,5x).
Источник: marktechpost.com