Обучение с подкреплением (Reinforcement Learning, RL) уже умеет решать сложные задачи прямо по изображениям — от управления роботами-манипуляторами до победы в компьютерных играх. Но за этими успехами стоит трудоёмкая ручная работа: инженерам приходится вручную прописывать функции вознаграждения, по которым агент понимает, что он делает правильно, а что нет. Такой подход дорог, требует много времени и легко ошибается — а чем сложнее задача, тем острее проблема.
Как учатся живые существа
Природа решает эту задачу иначе. Дети никому не «поручают» учиться ползать — они делают это сами, из естественного любопытства и стремления исследовать мир. Именно эта идея подтолкнула исследователей к поиску математических целей для RL-агентов, которые не завязаны на конкретную задачу и работают в любой незнакомой среде.
Группа учёных из Vector Institute, University of Toronto и Google Brain изучила три таких типа внутренней мотивации и показала: все три сильнее коррелируют с метрикой сходства поведения агента с человеческим, чем с наградой за выполнение задачи.
Три типа внутренней мотивации
Исследователи протестировали агентов без внешних наград, используя следующие внутренние цели:
- Энтропия входных данных (input entropy) — поощряет агента за встречу с редкими сенсорными сигналами, которые оцениваются обученной моделью плотности.
- Прирост информации (information gain) — вознаграждает агента за изучение правил среды, в которой он находится.
- Empowerment — вознаграждает агента за максимизацию его влияния на собственные сенсорные входы или на окружение.
Методика эксперимента
Команда собрала разнородный набор данных из разных сред и типов поведения и ретроспективно вычислила для них показатели внутренних целей — это позволило сравнить объективы без обучения отдельного агента под каждую цель. Учёные проанализировали корреляции между внутренними целями и «контролируемыми» показателями — наградой за задачу и сходством с человеком.
Для обучения семи RL-агентов (с наградой за задачу и без неё) использовали 100 миллионов кадров из трёх игр Atari. Симуляция трёхмерной игры Minecraft оказалась значительно медленнее, поэтому там ограничились 12 миллионами кадров на агента. Эталоном для оценки «человекоподобия» служили реальные действия людей в тех же средах.
Что показали результаты
Во всех проверенных средах все три внутренние цели коррелировали с человеческим поведением сильнее, чем награда за задачу. Вывод авторов: при разработке универсальных агентов, которые должны вести себя по-человечески, внутренние цели предпочтительнее задачных наград.
Отдельно отмечено, что энтропия входных данных и прирост информации оказались схожими по сути целями, тогда как empowerment может давать дополнительный, не пересекающийся с ними эффект — поэтому авторы советуют в будущих работах комбинировать несколько внутренних целей одновременно.
Ограничения работы
Набор данных о поведении людей пока сравнительно небольшой, и неясно, какие именно инструкции получали игроки-люди перед сессиями — авторы считают, что расширение человеческого датасета и контроль над инструкциями участников помогут точнее калибровать метрику. Ещё одно упрощение: чтобы разложить наблюдения агента по «корзинам», их пришлось уменьшать в масштабе — это просто, но не учитывает семантическое сходство изображений. Авторы предлагают в дальнейшем использовать для этого представления, полученные глубокими нейросетями.
Источник: MarkTechPost.