Промпты — один из самых дешёвых способов заставить предобученную языковую модель вроде GPT или BERT решать нужную задачу. В отличие от классического дообучения, при котором приходится пересчитывать миллиарды параметров модели под каждую новую задачу, промптинг просто добавляет к входу дополнительный текст, направляющий модель к нужному ответу. Проблема в том, что подобрать по-настоящему хороший промпт вручную сложно, особенно если обучающих примеров мало.
Исследователи из Университета Карнеги — Меллона и Калифорнийского университета в Сан-Диего предложили решать эту задачу с помощью обучения с подкреплением (RL) — метод получил название RLPrompt.
Почему RL для промптов — нетривиальная задача
Большая языковая модель для RL-агента выглядит как чёрный ящик: чтобы получить награду, нужно пройти через множество промежуточных шагов генерации, а сам сигнал вознаграждения оказывается нестабильным. Авторы предложили два приёма, которые делают обучение практичным:
- нормализация сигнала — награды для одного и того же входа приводятся к z-оценке, что стабилизирует обучение;
- кусочные функции вознаграждения — модель получает разреженные, но качественные бонусы за конкретные достижения, например за определённую точность на отдельном классе, что ускоряет оптимизацию.
Что предлагает RLPrompt
До сих пор в этой области доминировала «мягкая» настройка промптов (soft prompt tuning), которая слабо интерпретируется, плохо переносится между задачами и не работает без доступа к градиентам модели. Прямая оптимизация дискретных токенов промпта, в свою очередь, крайне сложна, а эвристики вроде перефразирования и отбора вариантов недостаточно системны.
RLPrompt решает эту проблему иначе: вместо того чтобы напрямую редактировать дискретные токены, метод обучает сеть-политику, которая сама генерирует нужные промпты. Небольшое число параметров этой политики встраивается как MLP-слой в компактную замороженную языковую модель — например, distilGPT-2. Такая архитектура позволяет применять готовые алгоритмы RL, в частности soft Q-learning, и обучать политику под произвольные функции вознаграждения — как на размеченных данных (например, для few-shot классификации), так и на слабых сигналах, когда размеченных данных нет вовсе (как в управляемой генерации текста).
Промпты, понятные только модели
По итогам экспериментов RLPrompt показал результаты выше, чем дообучение или классические методы промптинга, — как на задачах few-shot классификации, так и в неконтролируемом переносе стиля текста (unsupervised text style transfer).
Любопытный побочный эффект: наиболее сильные найденные промпты часто выглядят как грамматически бессвязный набор слов. Это говорит о том, что языковая модель улавливает некий общий «шаблон» промптинга, но вовсе не обязана следовать нормам человеческого языка.
Ещё один вывод исследования — такие «нечитаемые» промпты оказываются переносимыми между разными языковыми моделями. Это открывает практический сценарий: искать дешёвые промпты на маленькой модели, а затем применять их при инференсе на более крупной и дорогой.
При этом авторы прямо признают: ограничения и потенциальные слабые места RLPrompt пока изучены недостаточно, и не факт, что подход одинаково хорошо подойдёт для всех типов задач — это предмет дальнейших исследований.
Источник: MarkTechPost.