Крупные языковые модели давно научились имитировать человеческую речь и решать прикладные задачи — от автоматизации поддержки клиентов до генерации контента. Но точная настройка под реальные предпочтения людей остаётся больным местом: модель должна не просто звучать убедительно, а действовать безопасно и предсказуемо в рамках своей задачи.
Проблема классического RLHF
Стандартный подход к выравниванию LLM — обучение с подкреплением на основе обратной связи от людей (RLHF). Схема состоит из трёх шагов по кругу: собрать предпочтения людей, обучить на них модель вознаграждения, затем оптимизировать саму языковую модель под эту награду.
Слабое место здесь — последовательность этапов. Пока идёт обучение, распределение ответов языковой модели постепенно меняется, а модель вознаграждения обучалась на старых данных и перестаёт «понимать» новые ответы. В результате оценки становятся менее точными, а согласованность модели с ожиданиями людей падает — несмотря на то что сам RLHF в целом доказал эффективность.
Что предлагает Alibaba
Исследователи Alibaba Group разработали фреймворк Reward Learning on Policy (RLP) — «обучение вознаграждения на политике». Идея — донастраивать модель вознаграждения без дополнительной разметки, опираясь прямо на распределение сэмплов, которые генерирует текущая политика (то есть сама обучаемая LLM).
Для этого RLP использует два инструмента:
- multi-view learning — обучение на нескольких «представлениях» данных для получения более устойчивых признаков;
- synthetic preference generation (SPG) — генерация синтетических пар предпочтений высокого качества без привлечения людей-разметчиков.
По сути, RLP встраивает элементы обучения без учителя в привычный цикл RLHF и постоянно подстраивает модель вознаграждения под меняющиеся выходы LLM — вместо того чтобы обучить её один раз и оставить как есть. Это должно сделать процесс выравнивания более устойчивым и точным на всём протяжении обучения.
Результаты на бенчмарках
Эффективность RLP проверили на нескольких бенчмарк-датасетах, и метод стабильно обходил существующие подходы. На датасете AlpacaFarm варианты RLP показали рост winrate; вариант RLP-SPG (с генерацией синтетических предпочтений) поднял этот показатель с 46,8% до 50,2% по сравнению с базовыми моделями.
Зачем это нужно на практике
Более точная и «живая» модель вознаграждения напрямую влияет на безопасность и надёжность прикладных LLM-систем — будь то чат-боты, ассистенты или другие продукты на базе больших языковых моделей. Авторы позиционируют RLP как способ удержать модель вознаграждения в актуальном состоянии на протяжении всего цикла обучения, не теряя связи с реальными предпочтениями пользователей по мере эволюции политики.
Источник: MarkTechPost.