Синтезированные голоса давно перестали звучать как автоответчик — сегодня они разговаривают в смартфонах и умных колонках почти по-человечески. Но между машинной и живой речью всё ещё остаётся заметная разница: человеческий голос строится на сложном ритме, интонации и тембре, которые искусственному интеллекту пока трудно воспроизвести без искажений. Именно над этим NVIDIA работает уже давно, и на конференции Interspeech 2021 — крупнейшем в мире мероприятии по науке и технологиям обработки устной речи, куда съезжаются более тысячи исследователей, — компания показала свои последние наработки.
Что представила NVIDIA
Подразделение NVIDIA Research привезло на конференцию архитектуры моделей для разговорного ИИ и подготовленные голосовые датасеты для разработчиков. С их помощью можно озвучивать персонажей, виртуальных ассистентов и персонализированных аватаров. Часть технологий команда NVIDIA уже применяет сама — для эмоциональной закадровой озвучки видеосерии «I AM AI» о возможностях искусственного интеллекта. Ряд наработок компания открыла в составе инструментария NVIDIA NeMo, оптимизированного под работу на GPU NVIDIA.
RAD-TTS: управляемый синтез речи
Ключевая новинка — модель RAD-TTS. Раньше у моделей синтеза речи было слишком мало рычагов управления темпом и высотой тона синтетического голоса, из-за чего озвучка ИИ не вызывала у зрителей той эмоциональной реакции, что живая речь профессионального диктора. RAD-TTS решает эту проблему: модель text-to-speech обучается на записи речи конкретного человека и затем способна превратить любой текстовый запрос в голос этого спикера.
Ещё одна функция — конвертация голоса, когда слова (и даже пение) одного человека звучат голосом другого. Интерфейс RAD-TTS, вдохновлённый идеей о человеческом голосе как о музыкальном инструменте, позволяет тонко настраивать высоту тона, длительность и энергию синтезированной речи покадрово. Пример применения: видеопродюсер записывает себя, читающего сценарий, а затем ИИ переводит эту запись в голос дикторши — при этом продюсер может «режиссировать» синтетическую речь как актёра озвучки, расставляя акценты на ключевых словах и меняя темп ради нужной интонации ролика.
Возможности синтеза речи выходят за рамки закадрового голоса: технологии могут помогать людям с нарушениями речи, переводить между языками, сохраняя собственный голос говорящего, а также воссоздавать исполнение классических вокалистов — не только мелодию песни, но и эмоциональную окраску пения.
NeMo — инструмент для разработчиков
NVIDIA NeMo — открытый Python-инструментарий для разговорного ИИ с ускорением на GPU. Он даёт исследователям и разработчикам готовые API и предобученные модели для синтеза речи, обработки естественного языка и распознавания речи в реальном времени, а также возможность дообучать их под свои задачи.
Многие модели обучены на тысячах часов аудиоданных на системах NVIDIA DGX; ускорить обучение и дообучение моделей под конкретный сценарий разработчикам помогают тензорные ядра NVIDIA Tensor Core с поддержкой вычислений смешанной точности. Через каталог NGC также доступны модели, обученные на датасете Mozilla Common Voice — крупнейшем в мире открытом наборе голосовых данных, собранном методом краудсорсинга и включающем почти 14 000 часов речи на 76 языках. Инициативу по демократизации голосовых технологий, стоящую за этим датасетом, поддерживает и сама NVIDIA.
Источник: MarkTechPost.