Исследователи Bandai Namco опубликовали в открытом репозитории Bandai Namco Research наборы данных о движении персонажей, которые можно использовать для обучения моделей Motion Style Transfer (MST) — переноса стиля движения. Датасеты охватывают широкий спектр действий: танцы, бои, повседневную активность, а также варианты исполнения с разным эмоциональным окрасом — суетливым, уставшим и жизнерадостным.
Зачем нужен перенос стиля движения
Для игр и фильмов, где важна реалистичная и выразительная анимация персонажей, давно существует запрос на разнообразие стилистики движений. Но создать вручную все возможные варианты одного и того же действия с разными эмоциональными оттенками — задача трудоёмкая. Именно поэтому в последнее время растёт интерес к технологии Motion Style Transfer: она позволяет взять движение с определённым содержанием (content) и перенести его в другой стиль (style), сохранив исходную суть действия. Содержание задаёт «каркас» движения, а стиль отвечает за характеристики вроде настроения и характера персонажа.
Что входит в датасеты
Репозиторий содержит два набора данных.
Первый включает 36 673 кадра, охватывающих 17 типов содержания — от повседневных дел до боёв и танцев, — и 15 стилей с разнообразием выразительных оттенков.
Второй значительно крупнее: 384 931 кадр, семь стилей с единой, устойчивой манерой исполнения и десять типов содержания, сфокусированных в первую очередь на локомоции (ходьбе, беге) и движениях рук.
Как собирали данные
В основе обоих датасетов — движения трёх профессиональных актёров, записанные на студии захвата движения (motion capture) Bandai Namco. Перед публикацией данные прошли обработку: обрезку лишних фрагментов, выравнивание пропорций и удаление шума. Итоговые файлы сохранены в формате BVH — распространённом стандарте для передачи скелетной анимации.
Публикация подобного репозитория снижает порог входа для исследователей, работающих над моделями переноса стиля движения: вместо самостоятельного проведения дорогостоящих сессий захвата движения они получают готовый, размеченный по содержанию и стилю набор данных для экспериментов.
Источник: MarkTechPost.