Bland, голосовая ИИ-компания из Сан-Франциско, открыла ограниченный доступ к Tofu-1 — модели speech-to-speech с полным дуплексом (full-duplex), работающей в режиме research preview. Она рассчитана на звонки из движущихся машин, больничных палат и линий с плохим сигналом: слушает, пока говорит, и рассуждает прямо во время разговора.
Для команд, которые делают телефонных агентов, главное здесь — один компонент вместо цепочки. Модель принимает аудио и отдаёт аудио, без промежуточной расшифровки в текст. Tofu-1 — первый релиз в запланированной линейке речевых моделей Bland.
Чем Tofu-1 отличается от каскадного голосового агента
Большинство голосовых агентов построены как каскад: речь превращается в текст, текст уходит в языковую модель, ответ снова синтезируется в речь. Tofu-1 слушает аудио напрямую, поэтому интонация, запинки и фоновые звуки остаются доступны модели. Внутреннюю архитектуру Bland не раскрывает.
На странице продукта заявлены три аудиовозможности:
- Speaker tracking — различает говорящих и определяет, к кому обращается каждый из них.
- Noise separation — отделяет голоса от плачущего ребёнка, телевизора, шума трассы, больничного интеркома или тонов клавиатуры.
- Paralinguistics — слышит неуверенность, раздражение и срочность.
Перебивания и работа без ранних обещаний
Звонящий может перебить Tofu-1 или поправить её посреди фразы. Пока модель выполняет запрос, разговор не останавливается. Результат она сообщает только когда работа действительно сделана, и не объявляет задачу выполненной раньше времени.
Поскольку Tofu-1 моделирует звук звонка, она умеет его и генерировать: второго собеседника, окружающую комнату и шум линии.
«ТВ-тест»: следовать за звонящим, игнорируя чужую речь
Bland описывает проверку под названием TV Test. Вопрос один: может ли модель следить за звонящим, когда рядом звучит речь из другого сценария? Телевизор часто громче абонента. Компания помечает свою демонстрацию TV Test как иллюстративную, а не как запись реального вывода модели.
Сравнение с другими full-duplex моделями
Bland приводит таблицу с конкурентами. Цифры взяты со страниц самих вендоров, а результаты FDB получены на разных версиях бенчмарка и напрямую несопоставимы.
| Bland Tofu-1 | OpenAI GPT-Live-1 | NVIDIA NemotronLabs VoiceChat 11B | Block Dessa | |
|---|---|---|---|---|
| Тип | Full-duplex speech-to-speech | Full-duplex voice model | Full-duplex speech-to-speech | Full-duplex speech-to-speech |
| Параметры | Не раскрыты | Не раскрыты | 11B | Не раскрыты |
| Веса | Закрытые | Закрытые | Открытые (OpenMDW 1.1) | Не выпущены |
| Обучающие данные | Миллионы часов реальных разговоров | Не раскрыты | ~550 тыс. часов аудио плюс текст | Только человеческая речь, без текста |
| Оборудование | Хостинг Bland | Хостинг OpenAI | A100, H100, H200, B100, B200, RTX-6000 | MacBook Pro M4 Max или лучше |
| Задержка перехода реплик | Не раскрыта | 0,798 с (FDB v1) | 448 мс (FDB) | Не раскрыта |
| Работа с инструментами | Продолжает говорить, пока работает | Делегирует бэкенд-модели | Live tool calling, 82,5% выбора инструментов (FDB v3) | Не раскрыта |
| Доступ | Enterprise research preview | API и ChatGPT | Чекпойнт на Hugging Face, контейнер NVIDIA | Research preview для исследователей безопасности |
У самой Tofu-1 пока нет ни размера, ни задержки, ни цен, ни бенчмарков. Единственная цифра — самозаявленная: более 92% слушателей на скринингах не смогли отличить модель. Конкуренты при этом публикуют задержку и оценки работы с инструментами.
Как получить доступ
Research preview открыт ограниченному числу предприятий. Bland называет целевыми отраслями банки, здравоохранение, страхование и госсектор. Форма записи спрашивает месячный объём звонков — от менее 1 000 до 50 000 и больше. Компания упоминает доступность в январе.
Если вы присматриваете голосовую модель для телефонии, полезно сравнить подходы: потоковый синтез речи для голосовых агентов закрывает выходную часть, а открытая модель распознавания речи на шесть языков — входную. Tofu-1 предлагает обойтись без обеих частей.
Частые вопросы
Кого касается выход Tofu-1?
В первую очередь команды, которые строят телефонных агентов и голосовые боты. Модель рассчитана на звонки в шумной обстановке и на слабых линиях, а не на чистую студийную запись.
Что значит full-duplex применительно к звонку?
Модель слушает и говорит одновременно, поэтому абонент может перебить её или поправить посреди фразы. Каскадные агенты обычно ждут конца реплики, прежде чем начать обработку.
Чем Tofu-1 лучше каскада из распознавания, языковой модели и синтеза?
В аудио сохраняются интонация, запинки и фоновые звуки — по заявлению Bland, они остаются доступны модели. Каскад же работает с текстом, в котором этих признаков уже нет.
Какие аудиовозможности заявлены?
Три: различение говорящих и их адресатов, отделение голосов от фонового шума и распознавание паралингвистики — неуверенности, раздражения, срочности.
Есть ли у Tofu-1 открытые веса?
Нет. Веса закрыты, модель размещена на хостинге Bland. Для сравнения, у NVIDIA NemotronLabs VoiceChat 11B веса открыты под OpenMDW 1.1.
Известны ли размер модели и задержка?
Нет. Bland не раскрывает ни число параметров, ни задержку перехода реплик, ни цены, ни результаты бенчмарков. Единственная опубликованная цифра — более 92% слушателей не отличили модель на скринингах.
Как записаться на research preview?
Через форму записи на сайте Bland. Доступ открыт ограниченному числу предприятий; форма спрашивает месячный объём звонков — от менее 1 000 до 50 000 и больше.
Что такое TV Test и можно ли ему доверять как замеру?
Это проверка, удерживает ли модель внимание на звонящем, когда рядом громко звучит речь из другого сценария. Bland сама помечает демонстрацию как иллюстративную, а не как запись реального вывода модели, так что это не результат измерения.
Когда Tofu-1 станет доступна шире?
Bland упоминает доступность в январе. Точных условий и сроков общего релиза в материалах компании нет.
Подходит ли модель для русского языка?
В материалах Bland язык не указан, данных о поддержке русского нет. Проверять это придётся на этапе тестового доступа.
Источник: marktechpost.com