Крупные трансформерные модели давно стали стандартом для задач обработки естественного языка: их сначала предобучают на огромных массивах веб-данных, а затем дообучают под конкретные задачи. Чем больше модель, тем выше качество предсказаний и эффективнее использование обучающих примеров — но у этой медали есть обратная сторона. С 2018 года размеры моделей растут быстрее, чем объём памяти GPU, и полное дообучение всех параметров становится по карману далеко не всем.
Проблема существующих методов
Ответом на удорожание дообучения стало направление parameter-efficient transfer learning (PETL) — методы, которые подстраивают предобученную модель под целевую задачу через небольшие, узкоспециализированные добавочные модули, а не через изменение всех весов. Проблема в том, что существующие PETL-подходы либо увеличивают задержку на этапе инференса, либо экономят память при обучении лишь незначительно.
Что предлагает READ
Новое исследование Meta AI описывает метод REcurrent ADaption (READ), который решает обе проблемы разом. К базовой (backbone) модели добавляется небольшая рекуррентная нейросеть (RNN) и сеть-«объединитель» (joiner), которая собирает информацию из разных источников и подаёт её на вход RNN. Такая схема требует немного параметров и минимум дополнительной памяти.
Работает это так: сначала выполняется обычный прямой проход через трансформер-backbone, а промежуточные результаты каждого слоя кэшируются. Затем на этапах энкодера и декодера итеративно вычисляются скрытые состояния RNN. Финальное состояние получается суммированием выходов RNN и backbone-модели.
Поскольку READ рекуррентен, число обучаемых параметров не растёт вместе с глубиной backbone-модели — это снижает требования к вычислениям. В итоге процедура дообучения опирается только на RNN и полносвязные сети (FFN), без механизма внимания. Отказ от предобучения добавочных модулей и от прунинга дополнительно повышает удобство использования и эффективность обучения.
Результаты на бенчмарке GLUE
Исследователи сравнили READ с базовыми PETL-методами — BitFit, Prompt-tuning, LoRA — на бенчмарке GLUE и других задачах NLP, а также с полным дообучением модели. READ показал более высокую точность, чем сравниваемые методы, при этом снизив расход памяти при обучении на 56% и энергопотребление GPU на 84% по сравнению с полным дообучением. По словам авторов, метод оказался масштабируемым и не зависящим от размера backbone-модели.
Ограничения и планы
Как отмечают авторы в своей статье, из-за ограничений вычислительных мощностей команда не смогла протестировать метод на более крупных backbone-моделях. В планах — дообучение READ на Llama-7B и, возможно, ещё более крупных вариантах. Один из выявленных недостатков: на небольших наборах данных READ обычно требует больше эпох для сходимости, чем конкурирующие PETL-алгоритмы. Это значит, что при малом количестве данных выигрыш в суммарном потреблении ресурсов может оказаться скромным, даже если по вычислениям на единицу времени метод эффективнее. Исследователи намерены отдельно изучить поведение READ в условиях ограниченных данных. Авторы рассчитывают, что метод сделает дообучение крупных моделей доступнее для более широкого круга исследователей и разработчиков.
Источник: MarkTechPost.