Модели с длинными цепочками рассуждений (chain-of-thought), например DeepSeek-R1, неплохо справляются с олимпиадными задачами по математике. Но исследователи давно подозревают: за этими успехами часто стоит не творческий поиск решения, а воспроизведение заученных шаблонов — известных алгебраических приёмов или, скажем, привычки сводить любую задачу с чертежом к координатной геометрии. Проблема в том, что существующие датасеты плохо подходят для проверки этой гипотезы: они смешивают задачи разной тематики и сложности, и вычленить из общего результата конкретный «навык» модели почти невозможно.
Зачем понадобился новый бенчмарк
Команда из Калифорнийского университета, Ai2, Вашингтонского университета и dmodel.ai представила OMEGA — бенчмарк, специально сконструированный для того, чтобы разложить способность моделей к обобщению за пределами обучающего распределения (out-of-distribution generalization) на три отдельных измерения. Идея опирается на типологию творчества психолога Маргарет Боден и включает три вида генерализации:
- исследовательскую (exploratory) — способность справляться с более сложными вариациями уже знакомых задач;
- композиционную (compositional) — умение комбинировать отдельно изученные навыки для решения новой задачи;
- трансформационную (transformative) — способность выходить за рамки стандартных приёмов и применять нестандартную стратегию решения.
Задачи для обучения и тестирования генерируются по 40 шаблонам в шести математических областях: арифметика, алгебра, комбинаторика, теория чисел, геометрия, логика и головоломки. Такой контроль над генерацией позволяет точно настраивать сложность и разнообразие задач и требовать от модели конкретной стратегии решения.
Как проходило тестирование
Авторы прогнали через бенчмарк четыре передовые модели — DeepSeek-R1, Claude 3.7 Sonnet, OpenAI o3-mini и OpenAI o4-mini — на разных уровнях сложности. Отдельно был поставлен эксперимент с обучением с подкреплением: на 1000 обучающих задачах модели Qwen2.5-7B-Instruct и Qwen2.5-Math-7B дообучались алгоритмом GRPO. Для каждого из трёх измерений генерализации схема обучения строилась по-своему: для исследовательской — ограничение по сложности при обучении и проверка на более сложных задачах; для композиционной — обучение навыкам по отдельности и проверка их совместного применения; для трансформационной — обучение на стандартных решениях и проверка на задачах, требующих нестандартного подхода.
Что показали результаты
С ростом сложности задач качество reasoning-моделей падает: они нередко находят правильный ответ на ранних шагах рассуждения, но затем тратят избыточное количество токенов на ненужную перепроверку. RL-дообучение на простых задачах улучшает результаты на задачах средней сложности, причём прирост заметно выше на задачах «внутри домена», чем на задачах вне обучающего распределения — это говорит о том, что подкрепление в первую очередь закрепляет уже знакомые модели паттерны. Показательный пример — домен Zebra Logic (логические головоломки): базовая модель решала такие задачи с точностью всего 30%, а после RL-дообучения точность выросла на 61 пункт на задачах внутри домена и на 53 пункта — на задачах вне распределения, причём без дополнительного supervised fine-tuning.
Выводы авторов
Исследование даёт три ключевых наблюдения. Во-первых, RL-дообучение заметно улучшает результаты как на задачах из обучающего распределения, так и на «исследовательской» генерализации. Во-вторых, польза RL для композиционных задач оказалась ограниченной. В-третьих — и это главный вывод работы — обучение с подкреплением не порождает у моделей принципиально новых стратегий рассуждения: оно расширяет и углубляет то, что модель уже умеет, но не совершает «творческого скачка», необходимого для трансформационного мышления. Авторы предлагают в дальнейшем изучить curriculum scaffolding (постепенное усложнение учебной программы) и мета-контроллеры рассуждений как возможные пути к преодолению этого ограничения.
Источник: MarkTechPost.