IBM выпустила Granite Speech 5.0 2B — открытую речевую модель на 2 млрд параметров, которая переводит речь в текст на шести языках и умеет переводить её на английский. Модель распространяется под лицензией Apache 2.0, а вместе с ней обновились два прежних релиза IBM: edge-модель Turbo CTC и версия 4.1 2B Plus с диаризацией. Для разработчиков это три сценария: точная транскрипция, быстрая расшифровка прямо на устройстве и текст с разметкой говорящих.
Что внутри: энкодер, q-former и дообученный granite-4.0-1b-base
По карточке модели, Granite Speech 5.0 2B собрана из трёх частей. Речевой энкодер — 16 блоков Conformer, обученных с CTC; внимание работает блоками по 4 секунды аудио. Двухслойный window q-former проецирует и прореживает акустические эмбеддинги: суммарное понижение частоты — в 10 раз, так что языковая модель видит их на 10 Гц.
Сам LLM — промежуточный чекпоинт granite-4.0-1b-base. IBM расширила его до 16 тыс. позиций через YaRN и дообучила LoRA-адаптерами. Обучение шло на 390 тыс. часов публичного аудио плюс синтетические данные; синтетика закрывала японский ASR, биасинг по ключевым словам и перевод. На 8 GPU H100 обучение заняло 40 дней.
Плотная архитектура означает предсказуемые требования к памяти, а рекомендация IBM — сегменты аудио примерно до 2 минут. Длинные записи придётся резать.
Где запускать: GPU, Mac и обычный CPU
Модель работает через Transformers или vLLM на GPU, через mlx-audio на Apple Silicon и локально на CPU или Mac через llama.cpp в формате GGUF. Для GGUF IBM рекомендует квантование Q8_0: квантизации с меньшим числом бит теряют точность на аудио длиннее примерно минуты.
Набор вариантов запуска делает модель интересной не только командам с кластером GPU. Небольшая студия или отдел поддержки может держать расшифровку на своём железе, не отправляя записи во внешний сервис. Если сравниваете с другими открытыми решениями для речи, полезно посмотреть на Mistral Voxtral 3 и на Gemini 3.5 Transcribe — у них другой баланс между числом языков и качеством.
Результаты: 5,68% WER и второе место среди открытых моделей
В Open ASR Leaderboard модель занимает второе место среди открытых весов с средним WER по английскому 5,68%. Среднее считается по 9 публичным и 2 приватным наборам по состоянию на 21 октября 2026 года. Лучше только Qwen3-ASR-1.7B с 5,40%.
Здесь есть расхождение источников, о котором стоит знать. Блог IBM приводит 5,06% — это неофициальная цифра от 15 октября, и она усредняет только публичные короткие наборы. График в карточке модели даёт 5,68%.
Разброс по наборам большой:
- LibriSpeech Clean — 0,99% WER;
- LibriSpeech Other — 2,21%;
- приватный разговорный набор — 13,79%, худший результат модели.
На шумном FFASR leaderboard модель занимает 4-е место из 42 со средним WER 14,80%; Qwen3-ASR-1.7B там даёт 13,41%.
В многоязычном CommonVoice WER составляет 2,60% для португальского и 3,50% для испанского. Самый слабый язык — японский с 10,74%.
Перевод оценивали по CoVoST в направлении X-to-English: BLEU 53,6 для португальского и 40,1 для немецкого. Английский на мандаринский не оценивался.
Что нового против Granite Speech 4.1 2B
Основные изменения касаются управления выводом через промпт:
- Язык во входе. Можно назвать язык входного аудио прямо в промпте, чтобы направить транскрипцию.
- Списки ключевых слов до 2 000 терминов. Вывод смещается в сторону нужных названий продуктов, имён и аббревиатур.
- Пунктуация и заглавные по запросу. F1 по капитализации на тестовых наборах — от 90,16 до 99,51.
- Устойчивость к условиям записи. Модель лучше справляется с шумом, реверберацией и дальними микрофонами.
Биасинг по ключевым словам даёт самый заметный прирост. На Earnings-22 F1 по ключевым словам поднимается с 67,2 до 90,1 при корректных списках. Если в списке из 2 000 терминов смешаны правильные и неправильные, показатель всё равно достигает 82,8.
Turbo CTC и 4.1 2B Plus: обновления без смены габаритов
Granite Speech 5.0 Turbo CTC сохранила размер 470M параметров, но теперь расшифровывает 7 языков с нативной пунктуацией и капитализацией. IBM скомпилировала один блок Conformer и переиспользовала его граф по всему стеку — пропускная способность выросла до 19 870 RTFx против примерно 12 600 на момент запуска.
Обновление Granite Speech 4.1 2B Plus — замена весов без изменения кода. Средний сдвиг таймстемпов падает с 210,86 до 98,54, WER на длинных записях — с 13,53 до 10,22, WER с биасингом по ключевым словам — с 11,79 до 6,48.
С кем сравнивают Granite Speech 5.0 2B
В карточке модели IBM приводит таблицу с открытыми конкурентами. Granite Speech 5.0 2B — 2 млрд параметров, Apache 2.0, 6 языков ASR, перевод речи есть, биасинг до 2 000 терминов, сегменты около 2 минут. Qwen3-ASR-1.7B при 2,35 млрд параметров по счётчику Hub и Apache 2.0 даёт 5,40% среднего WER и 13,41% на FFASR, поддерживает длинное аудио и 30 языков плюс 22 китайских диалекта, но про перевод и биасинг данных нет. Cohere Transcribe 03-2026 — 2,07 млрд параметров, Apache 2.0 с гейтингом, 14 языков, 5,77% WER и 15,03% на FFASR. Canary-Qwen-2.5B — 2,5 млрд параметров под CC-BY-4.0, только английский, 5,94% WER, без перевода, максимум 40 секунд аудио в обучении.
Картина простая: по точности и шумному аудио Qwen3-ASR-1.7B по-прежнему впереди, а Granite Speech 5.0 2B берёт другим — переводом речи, биасингом на 2 000 терминов и запуском на CPU и Mac.
Частые вопросы
Кого касается релиз?
Разработчиков, которым нужна расшифровка и перевод речи без внешнего API: колл-центры, сервисы субтитров, внутренние системы протоколирования встреч. Лицензия Apache 2.0 позволяет использовать модель в коммерческих продуктах.
Сколько языков поддерживает модель?
Шесть языков для распознавания речи и перевод на английский. Самый слабый язык по WER — японский, сильнее всего выглядят португальский и испанский.
Какой WER у модели на самом деле — 5,06% или 5,68%?
Официальная цифра из карточки модели — 5,68% по 9 публичным и 2 приватным наборам на 21 октября 2026 года. 5,06% из блога IBM — неофициальная оценка от 15 октября только по публичным коротким наборам.
Можно ли запустить модель без GPU?
Да, через llama.cpp в формате GGUF на CPU или Mac. IBM рекомендует квантование Q8_0; при меньшем числе бит точность падает на аудио длиннее примерно минуты.
Какой длины аудио можно подавать?
IBM рекомендует сегменты примерно до 2 минут. Языковая модель расширена до 16 тыс. позиций через YaRN, но на длинных записях надёжнее резать файл на части.
Зачем нужен биасинг по ключевым словам?
Он смещает вывод в сторону нужных названий продуктов, имён и аббревиатур. Список может содержать до 2 000 терминов, и даже при смеси правильных и неправильных терминов F1 на Earnings-22 держится на уровне 82,8.
Что даёт обновление Turbo CTC?
Пропускная способность выросла до 19 870 RTFx против примерно 12 600 на старте, языков стало 7, появились нативная пунктуация и капитализация при том же размере 470M параметров.
Нужно ли менять код при переходе на 4.1 2B Plus?
Нет, это замена весов drop-in. Улучшаются таймстемпы и WER на длинных записях и с биасингом, интерфейс остаётся прежним.
Где посмотреть детали?
В карточке модели, блоге IBM и статье о Granite Speech — на них ссылается публикация MarkTechPost. Там же приведены таблицы лидербордов, на которых основаны цифры.
Источник: marktechpost.com