Парижская Gradium, выделившаяся из Kyutai, открыла исходники семейства компактных моделей синтеза речи Phonon. Флагманская английская версия Phonon 31m распространяется под Apache 2.0 и занимает 64,5 МБ в квантованном формате q8 GGUF. Главное обещание — естественная речь без обращения к облаку, без GPU и без оплаты за символ: модель рассчитана на телефоны, одноплатные компьютеры и браузеры.
Что именно открыли
Семейство состоит из трёх моделей, и лицензии у них разные:
- Phonon 31m — только английский, 37 встроенных голосов, Apache 2.0.
- Phonon 40m — отдельная модель на каждый язык (английский, французский, немецкий, испанский, португальский), CC BY-NC 4.0.
- Phonon 40m multilingual — все пять языков в одной модели, 102 голоса, CC BY-NC 4.0.
То есть для коммерческого использования без ограничений доступна лишь английская 31-миллионная версия. Многоязычные варианты несут некоммерческую лицензию — это стоит проверить до того, как встраивать синтез в продукт.
Как устроена модель
Основа — причинный трансформер, на вход которому подаётся префикс из текстовых и спикерских эмбеддингов. Текст читает токенизатор SentencePiece со словарём на 4 000 токенов, без промежуточного преобразования в фонемы. Бэкбон выдаёт по одному латентному вектору на кадр длиной 80 мс, голова на flow matching за один шаг превращает вектор вместе с шумом в аудиоэмбеддинг, а уменьшенный вариант декодера Mimi от Kyutai отдаёт PCM с частотой 24 кГц в моно. Отдельная голова определяет момент окончания речи.
У Phonon 31m шесть слоёв трансформера, ширина 512 и восемь голов внимания; у 40m — девять слоёв при той же ширине. Обе модели дистиллированы из более крупной учительской Phonon, обучение шло на кластере NVIDIA H100 с NCCL и CUDA Graphs. Работа опирается на исследования Kyutai по Continuous Audio Language Models и проект Pocket TTS.
Замеры: где Phonon выигрывает, а где нет
Gradium провела слепые попарные прослушивания: 1 189 оценщиков, 17 270 голосов. В американском английском Phonon 40m набрала 2117 Elo, Phonon 31m — 2098, Kokoro — 2043, NeuTTS — 2034, Magpie — 1939.
Точность проверяли на публичном наборе сложных фраз: по 500 предложений на язык, с телефонными номерами, адресами электронной почты и почтовыми индексами. Phonon 31m показала 1,70% WER против 3,50% у Kokoro и 8,71% у NeuTTS Nano. Заметную часть разрыва Gradium объясняет встроенной нормализацией текста.
На более простом наборе Seed-TTS преимущество исчезает: у Phonon 31m 0,51% LLM WER, у Kokoro — 0,45%, у Magpie — 0,46%. То есть на лёгком тексте модель уже не лидер, и в таблице сравнения это видно как её слабую строку.
Скорость на CPU и одноплатниках
Ключевая цифра — время до первого аудио. На CPU MacBook Air M5 с четырьмя потоками Phonon 31m стартует за 6,9 мс и работает в 29,9 раза быстрее реального времени. Kokoro там же тратит 517 мс, потому что не умеет потоковую выдачу. С Arm KleidiAI и Apple Accelerate Phonon 31m доходит до 46,7x реального времени.
На Raspberry Pi 5 модель начинает говорить через 38 мс и идёт в 3,7 раза быстрее реального времени; по словам Gradium, Kokoro на этой плате запускается 7 секунд. На Snapdragon 8 Elite Gen 5 старт занимает 7,5 мс при 24x реального времени, на NVIDIA L40S через CUDA первая речь появляется за 5 мс, на CPU AMD EPYC 7413 — за 43 мс.
Как разработчику запустить Phonon
Рантайм распространяется под MIT или Apache-2.0 и покрывает Rust, Python, Swift, C и C++. Для Python установка такая:
pip install ptts
В браузере используется пакет phonon-tts (WASM и WebGPU). Дополнительно поставляются сервер с OpenAI-совместимым API и WebSocket-сервер. Модель загружается в Transformers, MLX-Audio, Ollama и LM Studio. Клонирование и дизайн голоса выполняются в Gradium Studio, после чего голос работает локально.
Если вы уже выбирали движок синтеза для локального проекта, полезно сравнить подход Gradium с Mistral Voxtral 3, где распознавание речи, TTS и голосовой SDK собраны в один набор моделей. Для сценариев, где модель должна жить прямо на устройстве, есть и другой свежий пример — Liquid AI LFM2.5-2.6B.
Что это значит для локального стека
Для администратора и владельца малого бизнеса практическая ценность здесь в том, что синтез речи перестаёт быть облачной статьёй расходов: 64,5 МБ весов помещаются на обычную машину, GPU не нужен, а потоковая выдача снимает задержку. Ограничения тоже конкретны — Apache 2.0 только у английской 31m, многоязычные модели некоммерческие, а на простых текстах преимущество перед Kokoro пропадает. Проверять модель стоит на своих фразах: цифрах, адресах, артикулах — то есть ровно на том, что чаще всего ломает синтез.
Частые вопросы
Какая лицензия у Phonon 31m?
Apache 2.0. Это позволяет использовать модель в коммерческих продуктах. У Phonon 40m и многоязычной 40m лицензия CC BY-NC 4.0, то есть некоммерческая.
Сколько места занимает модель?
Phonon 31m в квантовании q8 GGUF — 64,5 МБ, Phonon 40m — 74,6 МБ. Параметров у 31m около 31 млн без учёта аудиотокенизатора.
Нужна ли видеокарта?
Нет. Модель работает на CPU, телефонах, Raspberry Pi 5 и в браузере через WASM и WebGPU. NVIDIA GPU поддерживаются, но не обязательны.
Насколько быстро она говорит на Raspberry Pi 5?
Старт занимает 38 мс, дальше синтез идёт в 3,7 раза быстрее реального времени. Для сравнения, Kokoro на той же плате, по данным Gradium, запускается 7 секунд.
На каком языке работает открытая версия?
Phonon 31m — только английский, с 37 встроенными голосами. Французский, немецкий, испанский и португальский есть лишь в моделях 40m под некоммерческой лицензией.
Насколько точна модель на сложном тексте?
На наборе из 500 сложных английских предложений Phonon 31m показала 1,70% WER. У Kokoro в той же оценке 3,50%, у NeuTTS Nano — 8,71%.
А на простом тексте она лучше конкурентов?
Нет. На наборе Seed-TTS у Phonon 31m 0,51% LLM WER, у Kokoro — 0,45%, у Magpie — 0,46%. Преимущество проявляется именно на сложных фразах с номерами и адресами.
Как поставить рантайм на Python?
Командой pip install ptts. Кроме Python есть обёртки для Rust, Swift, C и C++, браузерный пакет phonon-tts, а также OpenAI-совместимый сервер и WebSocket-сервер.
Можно ли клонировать свой голос?
Да, клонирование и дизайн голоса делаются в Gradium Studio, а затем полученный голос работает локально на устройстве.
Источник: marktechpost.com