Bland Tofu-1: голосовая модель speech-to-speech для звонков в шумной среде

Bland, голосовая ИИ-компания из Сан-Франциско, открыла ограниченный доступ к Tofu-1 — модели speech-to-speech с полным дуплексом (full-duplex), работающей в режиме research preview. Она рассчитана на звонки из движущихся машин, больничных палат и линий с плохим сигналом: слушает, пока говорит, и рассуждает прямо во время разговора.

Для команд, которые делают телефонных агентов, главное здесь — один компонент вместо цепочки. Модель принимает аудио и отдаёт аудио, без промежуточной расшифровки в текст. Tofu-1 — первый релиз в запланированной линейке речевых моделей Bland.

Чем Tofu-1 отличается от каскадного голосового агента

Большинство голосовых агентов построены как каскад: речь превращается в текст, текст уходит в языковую модель, ответ снова синтезируется в речь. Tofu-1 слушает аудио напрямую, поэтому интонация, запинки и фоновые звуки остаются доступны модели. Внутреннюю архитектуру Bland не раскрывает.

На странице продукта заявлены три аудиовозможности:

  • Speaker tracking — различает говорящих и определяет, к кому обращается каждый из них.
  • Noise separation — отделяет голоса от плачущего ребёнка, телевизора, шума трассы, больничного интеркома или тонов клавиатуры.
  • Paralinguistics — слышит неуверенность, раздражение и срочность.

Перебивания и работа без ранних обещаний

Звонящий может перебить Tofu-1 или поправить её посреди фразы. Пока модель выполняет запрос, разговор не останавливается. Результат она сообщает только когда работа действительно сделана, и не объявляет задачу выполненной раньше времени.

Поскольку Tofu-1 моделирует звук звонка, она умеет его и генерировать: второго собеседника, окружающую комнату и шум линии.

«ТВ-тест»: следовать за звонящим, игнорируя чужую речь

Bland описывает проверку под названием TV Test. Вопрос один: может ли модель следить за звонящим, когда рядом звучит речь из другого сценария? Телевизор часто громче абонента. Компания помечает свою демонстрацию TV Test как иллюстративную, а не как запись реального вывода модели.

Сравнение с другими full-duplex моделями

Bland приводит таблицу с конкурентами. Цифры взяты со страниц самих вендоров, а результаты FDB получены на разных версиях бенчмарка и напрямую несопоставимы.

Bland Tofu-1 OpenAI GPT-Live-1 NVIDIA NemotronLabs VoiceChat 11B Block Dessa
Тип Full-duplex speech-to-speech Full-duplex voice model Full-duplex speech-to-speech Full-duplex speech-to-speech
Параметры Не раскрыты Не раскрыты 11B Не раскрыты
Веса Закрытые Закрытые Открытые (OpenMDW 1.1) Не выпущены
Обучающие данные Миллионы часов реальных разговоров Не раскрыты ~550 тыс. часов аудио плюс текст Только человеческая речь, без текста
Оборудование Хостинг Bland Хостинг OpenAI A100, H100, H200, B100, B200, RTX-6000 MacBook Pro M4 Max или лучше
Задержка перехода реплик Не раскрыта 0,798 с (FDB v1) 448 мс (FDB) Не раскрыта
Работа с инструментами Продолжает говорить, пока работает Делегирует бэкенд-модели Live tool calling, 82,5% выбора инструментов (FDB v3) Не раскрыта
Доступ Enterprise research preview API и ChatGPT Чекпойнт на Hugging Face, контейнер NVIDIA Research preview для исследователей безопасности

У самой Tofu-1 пока нет ни размера, ни задержки, ни цен, ни бенчмарков. Единственная цифра — самозаявленная: более 92% слушателей на скринингах не смогли отличить модель. Конкуренты при этом публикуют задержку и оценки работы с инструментами.

Как получить доступ

Research preview открыт ограниченному числу предприятий. Bland называет целевыми отраслями банки, здравоохранение, страхование и госсектор. Форма записи спрашивает месячный объём звонков — от менее 1 000 до 50 000 и больше. Компания упоминает доступность в январе.

Если вы присматриваете голосовую модель для телефонии, полезно сравнить подходы: потоковый синтез речи для голосовых агентов закрывает выходную часть, а открытая модель распознавания речи на шесть языков — входную. Tofu-1 предлагает обойтись без обеих частей.

Частые вопросы

Кого касается выход Tofu-1?

В первую очередь команды, которые строят телефонных агентов и голосовые боты. Модель рассчитана на звонки в шумной обстановке и на слабых линиях, а не на чистую студийную запись.

Что значит full-duplex применительно к звонку?

Модель слушает и говорит одновременно, поэтому абонент может перебить её или поправить посреди фразы. Каскадные агенты обычно ждут конца реплики, прежде чем начать обработку.

Чем Tofu-1 лучше каскада из распознавания, языковой модели и синтеза?

В аудио сохраняются интонация, запинки и фоновые звуки — по заявлению Bland, они остаются доступны модели. Каскад же работает с текстом, в котором этих признаков уже нет.

Какие аудиовозможности заявлены?

Три: различение говорящих и их адресатов, отделение голосов от фонового шума и распознавание паралингвистики — неуверенности, раздражения, срочности.

Есть ли у Tofu-1 открытые веса?

Нет. Веса закрыты, модель размещена на хостинге Bland. Для сравнения, у NVIDIA NemotronLabs VoiceChat 11B веса открыты под OpenMDW 1.1.

Известны ли размер модели и задержка?

Нет. Bland не раскрывает ни число параметров, ни задержку перехода реплик, ни цены, ни результаты бенчмарков. Единственная опубликованная цифра — более 92% слушателей не отличили модель на скринингах.

Как записаться на research preview?

Через форму записи на сайте Bland. Доступ открыт ограниченному числу предприятий; форма спрашивает месячный объём звонков — от менее 1 000 до 50 000 и больше.

Что такое TV Test и можно ли ему доверять как замеру?

Это проверка, удерживает ли модель внимание на звонящем, когда рядом громко звучит речь из другого сценария. Bland сама помечает демонстрацию как иллюстративную, а не как запись реального вывода модели, так что это не результат измерения.

Когда Tofu-1 станет доступна шире?

Bland упоминает доступность в январе. Точных условий и сроков общего релиза в материалах компании нет.

Подходит ли модель для русского языка?

В материалах Bland язык не указан, данных о поддержке русского нет. Проверять это придётся на этапе тестового доступа.

Источник: marktechpost.com