Команда исследователей из Института автоматизации Китайской академии наук и Калифорнийского университета в Беркли представила K-Sort Arena — платформу для оценки моделей генерации изображений и видео. Её главная задача — дать индустрии быстрый и надёжный способ сравнивать между собой генеративные модели, число которых растёт стремительно, а старые методы оценки за этим темпом не поспевают.
Почему старые метрики не годятся
Классические подходы к оценке визуальных генеративных моделей опираются на статичные метрики вроде IS, FID и CLIPScore, которые плохо отражают реальные предпочтения человека. Платформы-«арены» по типу Chatbot Arena пытаются решить проблему через попарные сравнения моделей со случайным подбором пар, но такой метод неэффективен и чувствителен к шуму в предпочтениях пользователей. K-Sort Arena предлагает другой путь, опираясь на то, что изображения и видео человек воспринимает и сравнивает интуитивно и быстро — это позволяет оценивать сразу несколько образцов одновременно.
Как устроена K-Sort Arena
В основе платформы — K-wise сравнения (при K больше двух), то есть в «турнире» одновременно участвуют не две, а несколько моделей, соревнуясь в формате free-for-all. Такой формат даёт заметно больше информации за одно сравнение, чем классическая пара.
Возможности каждой модели представлены не фиксированным числом, а вероятностным распределением, что позволяет учитывать неопределённость в оценке. После каждого раунда сравнения эти распределения обновляются с помощью байесовского вывода — система корректирует представление о силе модели с учётом новых данных и остающейся неопределённости.
Для подбора матчей используется алгоритм верхней доверительной границы (Upper Confidence Bound, UCB), который балансирует между сравнением моделей примерно одного уровня (эксплуатация) и проверкой моделей, которые ещё мало тестировались (исследование). Вместе K-wise сравнения, вероятностное моделирование и умный подбор соперников формируют систему оценки, которая лучше отражает реальные предпочтения людей и требует меньше сравнений для получения надёжного результата.
Результаты
По данным авторов, K-Sort Arena сходится к устойчивому рейтингу моделей в 16,3 раза быстрее широко используемого алгоритма ELO. Это позволяет оперативно добавлять новые модели в систему и почти в реальном времени обновлять таблицу лидеров. Платформу уже применили для оценки ряда современных моделей text-to-image и text-to-video. Пользователям доступно несколько режимов голосования: можно выбрать лучший результат из группы вариантов в формате free-for-all или проранжировать все K вариантов.
Зачем это индустрии
Авторы позиционируют K-Sort Arena как открытую и живую платформу оценки с участием реальных пользователей, которая должна упростить сотрудничество и обмен данными в исследовательском сообществе, работающем над визуальной генерацией. За счёт более тонкой и быстрой оценки моделей платформа может ускорить развитие всего направления генерации изображений и видео.
Источник: MarkTechPost.