Генерация видео по текстовому описанию — одно из самых востребованных направлений в компьютерном зрении последних лет: текст удобно использовать и в исследованиях, и в прикладных сценариях. Но когда дело доходит до видео с лицами, качество и релевантность результата часто заметно проседают. Одна из главных причин — нехватка подходящих датасетов: наборов, где видеоролики высокого качества были бы снабжены детальными текстовыми описаниями атрибутов, важных именно для распознавания лиц.
Три преграды на пути к хорошему датасету
Авторы работы выделяют три ключевые сложности. Во-первых, сбор данных: чтобы итоговое видео получилось качественным, нужны исходники нужного объёма с нормальным распределением и плавным движением — а собрать такой массив непросто. Во-вторых, разметка: текстовые описания должны точно соответствовать содержимому и движению в кадре, включая освещение и повороты головы. В-третьих, генерация самих текстов: ручная разметка дорогая и плохо масштабируется, а автоматическая — быстро масштабируется, но страдает от неестественности формулировок.
Как устроен CelebV-Text
Чтобы решить все три проблемы разом, исследователи из Сиднейского университета, SenseTime Research, Наньянского технологического университета (NTU) и Shanghai AI Lab выстроили комплексный конвейер: сбор и обработка видео, аннотирование и полуавтоматическая генерация текста. За основу процедуры сбора взяли подход датасета CelebV-HQ, слегка доработав этап обработки для повышения плавности видео. Далее ролики анализировались как по статичному содержимому, так и по временной динамике — это нужно для точного соответствия видео и текста.
В результате получился CelebV-Text — крупный датасет из 70 000 видеороликов «из дикой природы» с минимальным разрешением 512×512 и 1 400 000 словами описаний. Для каждого ролика размечены три категории статичных атрибутов (40 типов общей внешности, 5 детальных характеристик внешности и 6 условий освещения) и три категории динамических атрибутов (37 действий, 8 эмоций и 6 направлений света). Все динамические атрибуты снабжены временными метками начала и конца, а для признаков, которые сложно свести к дискретным категориям, добавлены ручные текстовые описания.
Для генерации текстов авторы разработали 18 шаблонов — по три на каждый тип атрибута, которые комбинируются между собой множеством способов, что даёт разнообразные и естественно звучащие формулировки, сочетая плюсы ручного и автоматического подхода.
Результаты
По заявлению авторов, CelebV-Text превосходит существующие датасеты лиц по разрешению (более чем вдвое), объёму выборки и разнообразию распределения, а тексты отличаются большей вариативностью, насыщенностью и естественностью по сравнению с другими текстово-видео наборами. Эксперименты по подбору видео под текстовый запрос подтвердили высокую релевантность пар «текст — видео».
Команда также сравнила датасет с типовым базовым решением для генерации лицевого видео по тексту: по сравнению с современной предобученной моделью большого масштаба результаты показали более сильную связь между сгенерированным видео и текстовым запросом. Отдельно отмечается, что интерполяция текста заметно улучшает временную согласованность кадров. Наконец, авторы предложили новый бенчмарк для стандартизации задачи генерации лицевого видео по тексту, включающий репрезентативные модели, протестированные на трёх датасетах.
Источник: MarkTechPost.