Реконструкция того, что видит человек, по активности его мозга — задача, которой нейронауки занимаются давно. Но если статичные картинки по данным функциональной магнитно-резонансной томографии (фМРТ) восстанавливать научились неплохо, то с непрерывным «видеопотоком» человеческого зрения дела обстояли куда хуже. Команда из Национального университета Сингапура и Китайского университета Гонконга предложила решение — систему MinD-Video, способную превращать сигналы мозга в связное видео.
Почему видео сложнее картинки
fMRI — неинвазивный метод, и в этом его главное ограничение: он собирает не так много данных, чувствителен к шуму и посторонним влияниям, а сама процедура сканирования дорога и занимает много времени. Но проблема не только в качестве данных. Аппарат фМРТ фиксирует BOLD-сигнал (уровень оксигенации крови) и делает «снимок» активности мозга раз в несколько секунд — по сути, это усреднённая картина за весь интервал. Обычное же видео идёт с частотой 30 кадров в секунду. Получается, что пока фМРТ формирует один-единственный кадр, перед испытуемым успевает промелькнуть до 60 видеокадров с разными объектами, движениями и сценами. Восстановить видеоряд с частотой, на порядок превышающей временное разрешение фМРТ, — задача нетривиальная.
Как устроена MinD-Video
Разработчики построили модульный конвейер декодирования мозговых сигналов, состоящий из двух ключевых частей: энкодера фМРТ и доработанной модели stable diffusion. Обе части сначала обучаются независимо, а затем дообучаются совместно.
Процесс идёт в несколько этапов:
- сначала на большом массиве неразмеченных данных с помощью маскированного моделирования мозговой активности (masked brain modeling) обучаются общие визуальные признаки по фМРТ;
- затем, опираясь на размеченный мультимодальный датасет, модель с помощью контрастивного обучения дистиллирует семантически значимые признаки и обучает энкодер фМРТ работать в пространстве CLIP (Contrastive Language-Image Pre-Training);
- наконец, доработанная модель stable diffusion, предназначенная именно для генерации видео из данных фМРТ, дообучается совместно с уже полученными признаками, оттачивая результат.
Чтобы видео получалось не просто набором похожих кадров, а передавало динамику сцены, авторы добавили в диффузионную модель механизм внимания к соседним кадрам (near-frame focus), а также разработали систему adversarial guidance — она помогает «настраивать» сканы фМРТ под конкретную задачу генерации. В итоге удалось получить видео высокого качества, в которых движения и динамика сцены точно соответствовали тому, что видел испытуемый.
Результаты и ограничения
Качество оценивали по семантическим и пиксельным метрикам — как на уровне отдельных кадров, так и на уровне видео в целом. MinD-Video показала точность 85% по семантическим метрикам и 0,19 по SSIM, что на 49% эффективнее прежних лучших решений в этой области.
Отдельный интерес представляет анализ механизма внимания модели: он показал, что она «смотрит» именно на зрительную кору и связанные с ней зоны высшего когнитивного уровня — то есть результаты имеют биологическое обоснование и в принципе поддаются интерпретации.
При этом у метода есть ограничения. Насколько хорошо модель обобщается между разными людьми — вопрос пока открытый, поскольку индивидуальные различия в активности мозга велики. Кроме того, для реконструкции используется менее 10% кортикальных вокселей — то есть потенциал остальных данных мозга остаётся незадействованным. Авторы полагают, что по мере усложнения подобных моделей направление найдёт применение в нейронауке и создании интерфейсов «мозг-компьютер» (BCI).
Источник: MarkTechPost.