Задача video instance segmentation (VIS, сегментация экземпляров объектов на видео) звучит просто: найти на кадрах все объекты нужного класса, выделить их контуры и проследить каждый экземпляр от кадра к кадру. На практике это одна из самых требовательных задач компьютерного зрения — она нужна для видеомонтажа, анализа видео, беспилотных автомобилей и дополненной реальности. Формально задачу описали в 2019 году, и с тех пор она собирает много внимания исследователей.
Онлайн и офлайн: в чём разница
Существующие подходы к VIS делятся на два лагеря. Онлайн-модели обрабатывают видео покадрово: на каждом кадре ищут и сегментируют объекты, одновременно отслеживая их и постепенно уточняя результат. Офлайн-модели действуют иначе — они получают на вход весь ролик целиком и сразу выдают последовательность экземпляров для всего видео за один проход.
У офлайн-подхода хорошие показатели точности, но требование иметь весь фильм целиком сильно сужает область применения: он плохо подходит для длинных видеозаписей и непрерывных трансляций. Онлайн-модели, наоборот, могут работать с потоком в реальном времени, но заметно уступают офлайн-подходам по качеству.
До последнего времени мало кто пытался объяснить, откуда берётся этот разрыв в качестве. Общепринятое объяснение — офлайн-модели избегают накопления ошибок на этапе отслеживания и используют более богатую информацию сразу из нескольких кадров для точной сегментации.
Откуда на самом деле берётся разрыв
Исследователи ByteDance обнаружили, что офлайн-подходы выигрывают в первую очередь за счёт вручную настроенных модулей ассоциации — они хорошо подстраиваются под конкретные особенности датасета. Именно это, а не сама офлайн-архитектура, и объясняет большую часть разницы в производительности.
Но у этого механизма есть слабое место: чёрный ящик ассоциации в офлайн-моделях быстро теряет качество по мере роста сложности видео. А чтобы не выйти за вычислительные ограничения при обработке длинных реальных роликов, офлайн-алгоритмам всё равно приходится разбивать видео на клипы — а значит, снова требуется вручную настроенное сопоставление между клипами, что дополнительно снижает результат. Иными словами, именно этап сопоставления и ассоциации экземпляров остаётся главной причиной разрыва между онлайн- и офлайн-подходами.
Решение: IDOL
Основываясь на этом наблюдении, команда ByteDance предложила фреймворк IDOL (In Defense of OnLine models — «в защиту онлайн-моделей») для сегментации экземпляров на видео. Идея в том, чтобы в пространстве эмбеддингов гарантировать сходство представлений одного и того же экземпляра между кадрами и различие представлений разных экземпляров — даже если объекты относятся к одному классу и визуально похожи друг на друга.
Такой подход даёт более устойчивую временну́ю согласованность и более различимые признаки экземпляров, что в итоге повышает точность их сопоставления между кадрами.
Прежний способ обучения с контрастивными парами опирался на ручной отбор положительных и отрицательных примеров — это мешало обучению и порождало ложные срабатывания в людных сценах и при перекрытии объектов. Чтобы решить эту проблему, исследователи переформулировали задачу отбора примеров как задачу оптимального транспорта (Optimal Transport problem) из теории оптимизации — это снизило число ложных срабатываний и повысило качество эмбеддингов.
На этапе инференса модель использует полученное априорное распределение эмбеддингов и one-to-many temporally weighted softmax — механизм с временны́ми весами, который умеет заново «узнавать» объекты, пропавшие из виду из-за перекрытия, и обеспечивает целостность и непрерывность связей между кадрами.
Результаты
Команда провела всесторонние тесты на нескольких датасетах. Несмотря на относительную простоту метода, IDOL установила новый рекорд качества на валидационных наборах данных, стабильно превосходя все предыдущие онлайн-подходы. Более того, IDOL обошла и лучший на тот момент офлайн-метод — то есть онлайн-модель впервые оказалась точнее офлайн-аналога.
По словам авторов, работа демонстрирует, что длинное видео и непрерывные трансляции — исторически слабое место онлайн-моделей — больше не обязаны быть их недостатком. На трёх бенчмарках IDOL превзошла все существующие онлайн- и офлайн-техники и заняла позицию нового state-of-the-art. Исследование также содержит анализ существующих подходов к VIS и рекомендации для будущих работ как по онлайн-, так и по офлайн-направлению.
Работа описана в статье «In Defense of Online Models for Video Instance Segmentation».
Источник: MarkTechPost.