Большие языковые модели (LLM) давно научились понимать текст, отвечать на вопросы и генерировать связные ответы почти без примеров — в режиме zero-shot и few-shot. А вот с изображениями всё сложнее: чтобы модель «увидела» картинку, её обычно приходится дообучать на огромных массивах данных, синхронизируя визуальные и языковые представления. Исследователи из Contextual AI и Стэнфордского университета предложили обойти этот этап целиком — с помощью фреймворка LENS (Large Language Models ENnhanced to See).
Почему существующие подходы дорогие
Сегодня для «скрещивания» LLM с изображениями применяют разные схемы. Один вариант — обучить оптический энкодер представлять картинку в виде последовательности непрерывных эмбеддингов, понятных языковой модели. Другой — взять уже обученный контрастным способом визуальный энкодер и добавить к замороженной LLM новые слои, которые обучаются с нуля. Третий путь — обучить лёгкий трансформер, который выравнивает между собой замороженный визуальный энкодер и замороженную LLM.
Все эти методы работают, но требуют отдельного и дорогого этапа предобучения. Показательный пример — модель Flamingo, которая встраивает в предобученную LLM новые слои кросс-внимания для визуальных признаков. Чтобы обучить эти слои, Flamingo прогоняет через себя 2 миллиарда пар «изображение — текст» и данные с 43 миллионов веб-сайтов — даже с уже готовыми предобученным энкодером изображений и замороженной LLM этот этап занимает до 15 дней.
Как устроен LENS
Идея LENS в другом: вместо того чтобы «учить» модель понимать картинки напрямую, авторы используют набор отдельных «визуальных модулей» — контрастных моделей и моделей для описания изображений (image captioning). Эти модули извлекают из картинки развёрнутую текстовую информацию: теги, атрибуты объектов, действия, отношения между объектами и так далее. Готовый текст передаётся на вход обычной LLM, которая используется как «модуль рассуждений» — reasoning module.
Благодаря этому LLM решает задачи распознавания объектов и связки изображения с языком (vision-and-language, V&L), вообще не проходя через дополнительное мультимодальное предобучение и не видя специальных мультимодальных данных. Любая готовая LLM «из коробки» получает способность работать с изображениями без дообучения, а система сразу использует все последние наработки как в компьютерном зрении, так и в NLP — не завися от того, что было «зашито» в модель на этапе совместного предобучения.
Результаты и открытый код
Авторы называют три ключевых вклада работы: сам модульный метод LENS, который решает задачи компьютерного зрения через few-shot и in-context обучение LLM на основе текстовых описаний изображений; возможность дать любой готовой LLM «зрение» без дополнительных данных и обучения; и экспериментальное подтверждение, что такой подход на замороженных LLM даёт zero-shot результаты, сравнимые или превосходящие модели совместного предобучения вроде Kosmos и Flamingo. В частности, на бенчмарке VQAv2 LENS обходит Flamingo примерно на 9 процентных пунктов — точность вырастает с 56% до 65%. Частичная реализация метода выложена на GitHub.
Источник: MarkTechPost.