Мультимодальные большие языковые модели (MLLM) неплохо справляются с общим пониманием изображений, но заметно хуже — с точной детекцией объектов. А это критично для таких задач, как автономное вождение или навигация роботов. Даже топовые модели вроде Qwen2-VL показывают на датасете COCO recall всего 43,9% — то есть пропускают больше половины объектов. Причина в том, что задачи восприятия и понимания плохо совмещаются внутри одной архитектуры, а обучающих датасетов, способных сбалансировать оба направления, попросту не хватает.
Почему прежние подходы буксовали
Классический способ научить MLLM «видеть» объекты — токенизировать координаты рамок (bounding box) и подавать их в авторегрессионную модель наравне с текстом. Формально это работает, но на практике накапливаются ошибки: порядок предсказания объектов оказывается неоднозначным, а квантование координат вносит неточности, особенно на сложных изображениях. Альтернативный, retrieval-based подход — как в моделях Groma и Shikra — позволяет находить объекты иначе, но и он недостаточно устойчив на разнообразных реальных сценах.
Что предлагает ChatRex
Модель ChatRex разработали исследователи из International Digital Economy Academy (IDEA). Ключевая идея — жёстко развести задачи восприятия и понимания внутри архитектуры. Детекция объектов здесь трактуется не как прямое предсказание координат, а как поиск (retrieval) индексов уже готовых рамок-кандидатов — это убирает ошибки квантования и повышает точность.
За генерацию кандидатов отвечает Universal Proposal Network (UPN), построенная на основе DETR: она выдаёт рамки разного уровня детализации — от крупных объектов до мелких деталей, снимая неоднозначность в разметке между разными датасетами. Дополняет схему двойной визуальный энкодер, который сочетает высокое и низкое разрешение изображения, делая токенизацию объектов более компактной и точной.
Отдельная часть работы — новый датасет Rexverse-2M: более двух миллионов размеченных изображений с описаниями регионов, рамками объектов и подписями. Именно он позволил сбалансированно обучить модель сразу на задачах восприятия и понимания контекста, не жертвуя ни одной из них.
Результаты
По заявлению авторов, ChatRex превосходит конкурентов и в детекции объектов, и в понимании контекста. На датасетах COCO и LVIS модель показывает более высокие точность, recall и mAP (mean Average Precision). Она также лучше справляется с referring-детекцией — то есть точно связывает текстовое описание объекта с конкретным объектом на изображении, — уверенно генерирует подписи с привязкой к регионам изображения, отвечает на вопросы про конкретные участки картинки и ведёт диалог с учётом объектов в кадре.
Авторы называют ChatRex первой мультимодальной моделью, которая снимает давний конфликт между точным восприятием и содержательным пониманием изображения. Комбинация retrieval-based детекции, раздельной архитектуры и датасета Rexverse-2M открывает дорогу к более точным приложениям в динамичных и сложных визуальных средах — от анализа сцен до робототехники.
Источник: MarkTechPost.