Человеку достаточно беглого взгляда, чтобы понять, где он находится — на кухне, в спортзале или в офисе. Для искусственного интеллекта эта задача куда сложнее: если система опирается только на отдельные объекты в кадре, распознавание сцены почти всегда даёт сбой. Группа исследователей из Гронингенского университета предложила способ повысить точность, объединив видеоряд с распознанной речью.
Идея: учить нейросеть сразу двумя способами
В основе работы лежит принцип мультимодального обучения — когда модель получает информацию не из одного источника, а сразу из нескольких, дополняющих друг друга. Для этого учёные использовали новый датасет InstaIndoor, собранный из роликов социальных сетей, снятых в помещениях. Каждое видео обрабатывалось по двум направлениям: как последовательность кадров и как расшифрованная речь.
Визуальная модальность. Кадры извлекаются из видео с определённым интервалом — исследователи выбрали частоту один кадр в секунду, чтобы сохранить значимую информацию и при этом избежать почти идентичных дублей. Полученные последовательности можно анализировать как есть с помощью моделей ConvLSTM либо прогонять через предобученные свёрточные нейросети (CNN).
Текстовая модальность. Звуковая дорожка ролика — реплики или пояснения автора — расшифровывается в текст с помощью инструментов Google для транскрибации. Дальше текст проходит стандартную предобработку для задач NLP: приведение к нижнему регистру, удаление пунктуации и стоп-слов (частых, но малоинформативных с точки зрения смысла). После этого текст переводится в числовой вид — векторизуется, — чтобы его можно было подать на вход мультимодальной сети.
Что показали эксперименты
Помимо совместной модели, авторы отдельно проверили, насколько хорошо справляются алгоритмы, использующие только один канал данных.
Для визуальных признаков сравнивались два подхода: ConvLSTM на 512 юнитах с активацией softmax, работающая напрямую с кадрами, и полносвязная модель на признаках ImageNet.
Для текста протестировали четыре варианта: Count Vectorizer и Word2Vec Pad (оба на базе LSTM с 512 юнитами и softmax), а также Word2Vec Sum и SentenceBERT — на полносвязных моделях.
Результаты подтвердили ожидаемое: модели, работающие с изображением, оказались точнее текстовых — во многих роликах звуковая дорожка просто не несёт достаточно информации о сцене. Лучший результат среди одномодальных решений — 61% точности — показала модель на признаках ImageNet. Среди текстовых моделей лидировала Word2Vec Pad с точностью 17%, при этом все текстовые модели превзошли случайное угадывание лишь на скромные 11 процентных пунктов. Второе по качеству решение построено на тех же принципах, что и лучшее, но с другим текстовым признаком — оно достигло 69% точности. Примечательно, что все пять лучших моделей в исследовании использовали признаки ImageNet Sum, различаясь лишь стратегией обработки текста и способом объединения модальностей.
По словам авторов, полученные результаты должны стать отправной точкой для дальнейших исследований в области распознавания сцен внутри помещений — направления, которое находит применение в анализе поведения, локализации роботов и мониторинге состояния пожилых людей.
Источник: MarkTechPost.