Большие «рассуждающие» модели (Large Reasoning Models, LRM), которые обучают на базе LLM с помощью обучения с подкреплением, неплохо справляются с математикой, STEM-задачами и программированием. А вот с логическими головоломками — теми, что легко щёлкает любой человек, — у них до сих пор были проблемы. Причина не только в архитектуре: существующие наборы данных для тренировки на головоломках слишком узкие, плохо масштабируются и не позволяют гибко управлять сложностью заданий.
Идея: учить модель на верифицируемых задачах
Команда исследователей из ByteDance Seed, Фуданьского университета, Университета Цинхуа, Нанкинского университета и Шанхайского университета Цзяотун предложила Enigmata — первый комплексный инструментарий для развития у LLM навыков решения головоломок. В основе подхода лежит метод RLVR (Reinforcement Learning with Verifiable Rewards) — обучение с подкреплением на верифицируемых наградах, где модель поощряется за объективно проверяемый правильный ответ, без необходимости обучать отдельную модель-«судью».
Головоломки для этого подходят идеально: ответ либо верный, либо нет, и это легко проверить автоматически. Именно этот потенциал, по словам авторов, раньше оставался почти не задействован в исследованиях RLVR.
Что внутри Enigmata
Набор данных Enigmata-Data включает 36 типов задач, объединённых в семь категорий: Crypto (шифры), Arithmetic (арифметика), Logic (логика), Grid (сеточные головоломки), Graph (графовые задачи), Search (поиск) и Sequential Puzzle (последовательности). Для каждого типа задачи есть генератор, способный производить неограниченное число примеров с управляемой сложностью, и верификатор на основе правил для автоматической проверки ответов.
Данные собирались по трёхэтапному конвейеру: подбор и проектирование задач, разработка генераторов и верификаторов, а затем настройка плавной регулировки сложности (Sliding Difficulty Control). На основе датасета построен и отдельный бенчмарк — Enigmata-Eval, куда путём систематической выборки попало около 50 примеров каждого уровня сложности по каждой задаче. Итоговый набор содержит 4758 головоломок — меньше теоретического максимума в 5400, поскольку по некоторым типам задач физически не удаётся сгенерировать нужное число примеров на каждом уровне сложности.
Результаты
Модель Qwen2.5-32B-Enigmata, дообученная на этом наборе, обошла большинство публичных моделей сопоставимого размера на Enigmata-Eval. Особенно заметен результат на сложном бенчмарке ARC-AGI: модель обошла Gemini 2.5 Pro, o3-mini и o1. Лучше всего Enigmata-модель показала себя в категориях Crypto, Arithmetic и Logic — там, где нужны формализуемые, основанные на правилах рассуждения. Неплохо она справляется и с задачами поиска, требующими стратегического планирования, а вот пространственные и последовательные головоломки по-прежнему даются моделям тяжелее.
Отдельный интересный эффект: данные Enigmata не только улучшают решение головоломок, но и «переносятся» на другие области. При обучении на более крупной модели Seed1.5-Thinking (20 и 200 миллиардов параметров) добавление синтетических головоломок в тренировочный микс подняло результаты на продвинутых математических и STEM-бенчмарках — AIME, BeyondAIME и GPQA. Авторы называют это подтверждением обобщающей способности их метода: тренировка на логике «прокачивает» рассуждения модели в целом, а не только узкий навык решения ребусов.
Источник: MarkTechPost.