Физически достоверная анимация персонажей — одна из самых упрямых задач компьютерной графики. Разработчики годами пытаются заставить виртуальных героев двигаться так же естественно, как люди, но при этом ещё и слушаться команд на человеческом языке. Обычно приходится выбирать: либо анимация выглядит правдоподобно, либо ею легко управлять через текстовые инструкции — совместить оба свойства получалось плохо.
Существующие подходы — трекинг движений и языковые контроллеры — дают лишь частичный контроль. Они плохо справляются с тонкостями формулировок и с разнообразием физических сценариев, из-за чего анимация либо не соответствует инструкции, либо выглядит неестественно в симуляции.
Как устроен InsActor
Команда исследователей из S-Lab Наньянского технологического университета, Национального университета Сингапура и Dyson Robot Learning Lab представила фреймворк InsActor. В его основе — диффузионные модели движений человека, которые связывают сложные текстовые инструкции с конкретной моторикой персонажа.
Архитектура двухуровневая. На верхнем уровне работает диффузионная политика состояний: она генерирует действия в пространстве суставов персонажа, ориентируясь на пользовательский ввод, и строит план движения, отвечающий заданной инструкции. На нижнем уровне включается модуль поиска навыков (skill discovery), который решает проблему недопустимых состояний и невозможных переходов между ними — типичную головную боль при генерации движений. Каждый переход между состояниями отображается в компактное латентное пространство как отдельный навык-эмбеддинг.
Связка этих двух уровней позволяет InsActor не просто интерпретировать человеческую инструкцию, а превращать её в связный план движения, который к тому же физически реализуем и исполним внутри симулированной среды.
Результаты
По заявлению авторов, InsActor заметно превосходит существующие методы по способности генерировать физически правдоподобную анимацию, точно следующую высокоуровневым инструкциям. Фреймворк показал универсальность на разных задачах — от генерации движений до навигации по путевым точкам, заданным инструкцией, — и лучше справляется со сложными составными командами, чем предыдущие решения.
Авторы отмечают, что подход открывает применения в VR-опыте и продвинутой анимации для кинопроизводства: способность переводить богатство человеческого языка в плавность движения задаёт новую планку для цифровой анимации.
Источник: MarkTechPost.