Обучение с подкреплением на основе человеческой обратной связи (RLHF) остаётся ключевым способом «настройки» больших языковых моделей под ожидания людей. Несмотря на появление альтернатив вроде DPO, флагманские модели — ChatGPT/GPT-4, Claude, Gemini — по-прежнему опираются на классические RL-алгоритмы наподобие PPO. Последние исследования в основном улучшают саму механику обучения: отказываются от critic-моделей ради экономии вычислений, отфильтровывают шумные примеры при сэмплировании PPO, дорабатывают модели вознаграждения. А вот тому, как формируются и масштабируются обучающие промпты для RLHF, внимания уделялось заметно меньше.
Проблема reward hacking
Качество итоговой модели напрямую зависит от качества модели вознаграждения, а с ней связаны три типичные беды: неточная формулировка того, что считать «человеческим предпочтением», противоречивые и двусмысленные метки в обучающих датасетах и слабая обобщающая способность. Один из ответов на эти проблемы — GenRM (generative reward model), которая сверяет предсказания модели с эталонными ответами и демонстрирует неплохую устойчивость к reward hacking — ситуации, когда модель находит лазейку и «обманывает» систему оценки вместо того, чтобы реально улучшать ответы. GenRM уже используется в продвинутых моделях, например в DeepSeek-V3.
Что предложили в ByteDance Seed
Исследователи из ByteDance Seed решили закрыть именно этот пробел — недостаток внимания к конструированию обучающих промптов и их масштабированию. Они изучили, какие узкие места в данных ограничивают рост качества RLHF, сосредоточившись на двух проблемах: reward hacking и падении разнообразия ответов модели.
Решение — гибридная система вознаграждения, объединяющая верификаторы задач на рассуждение (RTV, reasoning task verifiers) и генеративную модель вознаграждения (GenRM). Такая связка лучше сопротивляется reward hacking и точнее оценивает ответы модели относительно эталонных решений. Дополнена система новым методом отбора промптов — Pre-PPO, который вычисляет действительно сложные обучающие примеры, менее подверженные обману модели вознаграждения.
Как тестировали
Эксперименты проводились на двух предобученных языковых моделях разного масштаба — на 25 и 150 миллиардов параметров. Обучающий датасет включал миллион промптов из разных областей: математика, программирование, следование инструкциям, creative writing и логические рассуждения. Для оценки авторы собрали отдельный фреймворк, охватывающий логическое мышление, следование инструкциям, STEM-задачи, код, обработку естественного языка, знания, понимание контекста и обобщение на данных вне распределения (out-of-distribution). Тестовый набор представлен в двух версиях — V1.0 и V2.0, причём V2.0 содержит более сложные промпты.
Результаты
Подход Pre-PPO в сочетании с приоритезацией математических и кодовых задач стабильно опережал базовый метод на моделях обеих размерностей и на обоих тестовых наборах. При замерах каждые 100 шагов обучения прирост на TestSet V1.0 составил +1,1 балла, а на более сложном TestSet V2.0 — уже +1,4. Наибольший выигрыш пришёлся на задачи, насыщенные математикой и кодом: +3,9 балла в STEM-категории и +3,2 балла в программировании. Авторы связывают это с тем, что математические и кодовые задачи целенаправленно приоритизировались на ранних этапах обучения RLHF.
Анализ также показал иерархию устойчивости к reward hacking: сильнее всего сопротивляется обману RTV-верификация, за ней следует GenRM с эталонными метками, а замыкает список классическая Bradley-Terry модель вознаграждения (BT Reward Model). Работа закладывает основу для более осмысленного построения обучающих данных RLHF и дальнейшей борьбы с «читерством» моделей при выравнивании их поведения с человеческими предпочтениями.
Источник: MarkTechPost.