Естественный язык — самый доступный способ управлять роботом: не нужно писать код, достаточно объяснить словами, что сделать. Большие языковые модели, обученные на огромных массивах интернет-текстов, уже неплохо справляются с переводом словесных команд в последовательности действий или программный код для робота. Проблема возникает, когда диалог с роботом растягивается: после нескольких реплик модель начинает «забывать» ранее данные инструкции и упускает контекст длительного взаимодействия.
Что такое «обучаемость» робота
Исследователи Google DeepMind сосредоточились на характеристике, которую они назвали teachability — обучаемостью. Она измеряется количеством подсказок от человека, которые в среднем требуются роботу, чтобы довести задачу до конца в ходе многошагового диалога. Существующие подходы — например, суммирование предыдущих реплик и предпочтений пользователя для использования в будущем — плохо переносятся на задачи, которые не встречались модели при обучении.
Метод LMPC: прогноз плюс дообучение
Чтобы повысить обучаемость, команда предложила совместить два механизма: обучение в контексте (in-context learning) для быстрой адаптации модели прямо по ходу диалога и дообучение (fine-tuning) для долгосрочного улучшения. Взаимодействие человека с роботом описали как частично наблюдаемый марковский процесс принятия решений (POMDP) — это позволило языковой модели предсказывать дальнейший ход диалога и объединить это предсказание с классической техникой робототехники — предиктивным управлением по модели (model predictive control, MPC).
Так родился фреймворк Language Model Predictive Control (LMPC): модель заранее прогнозирует, как будет развиваться взаимодействие, и на основе этого прогноза принимает оптимальное решение в реальном времени.
Результаты экспериментов
Эффективность подхода проверили в слепых A/B-тестах на разных роботизированных задачах и разных «телах» роботов. Дообученная по методу LMPC модель обошла базовые варианты, построенные на простом поиске по истории (retrieval baselines), и показала устойчивую генерализацию — она справлялась и с задачами, и с программными интерфейсами роботов (API), которые не встречались ей раньше.
Отдельно авторы протестировали top-user-conditioned LMPC — версию, которая при обучении отдаёт приоритет данным от наиболее опытных пользователей. Такой подход повысил качество работы модели для всех пользователей и для всех типов задач, показав, что удачно подобранные примеры обучения ценнее их количества.
Что дальше
Авторы отмечают, что у метода есть ограничения, и подробно разбирают их в статье наравне с направлениями для дальнейших исследований. Команда планирует опубликовать дополнительные материалы — видео, код и датасеты, — чтобы другие исследователи могли развивать эту работу.
В перспективе такие методы, как LMPC, могут заметно упростить программирование роботов: вместо написания кода человеку будет достаточно объяснить задачу словами и поправить робота парой реплик, если он ошибётся.
Источник: MarkTechPost.