Компания Zyphra представила ZUNA1.1 — базовую модель для сигналов ЭЭГ (электроэнцефалограммы), выпущенную под лицензией Apache 2.0. Это маскированный диффузионный автоэнкодер на 380 миллионов параметров, который восстанавливает, очищает от шума и повышает разрешение данных ЭЭГ при любой раскладке электродов.
Что нового по сравнению с ZUNA1
- Гибкая длина входа. Модель обрабатывает записи от 0,5 до 30 секунд (в ZUNA1 были фиксированные пятисекундные отрезки), привязывая их к сетке токенов по 0,125 секунды.
- Улучшенное обучение. Вместо одного шаблона прореживания теперь используются четыре: равномерное прореживание каналов, короткие временные растяжения по всем каналам, кластерные пространственно-временные пропуски и разрозненные отдельные точки.
- Больше данных. Обучающий корпус вырос примерно с 2 до 3,5 миллиона канало-часов публичных ЭЭГ — за счёт оценки качества по каждому каналу и каждой секунде, а не отбраковки записей целиком.
- Варианты предобработки. Для каждой записи заранее считаются два фильтра: полосовой 0,1–45 Гц и высокочастотный от 0,01 Гц с режекторной фильтрацией.
Как устроена
В основе — трансформерная структура «энкодер-декодер» с 4D-ротационным позиционным кодированием, которое учитывает трёхмерные координаты электродов на голове плюс грубый временной индекс. Благодаря этому модель не зависит от конкретного набора каналов и может предсказывать сигнал в тех точках, где измерений не было.
Результаты и доступ
На отложенных задачах ZUNA1.1 даёт «лучшую или практически такую же реконструкцию», что и ZUNA1, и обходит классическую интерполяцию сферическими сплайнами из MNE.
Веса выложены на Hugging Face, код — на GitHub. Установка одной командой pip install zuna. Есть бесплатная песочница в браузере; использование — только в исследовательских целях.