Учёные из Грацского технического университета (TU Graz) экспериментально подтвердили то, о чём индустрия давно догадывалась: специализированное нейроморфное железо действительно эффективнее обычных процессоров при работе с глубокими нейросетями — причём эффективнее не на проценты, а в разы.
Суть исследования
Современные методы глубокого обучения (DNN) требуют огромного количества энергии, что становится серьёзным препятствием для их использования на периферийных устройствах. Один из путей решения — спайковые нейроморфные чипы, идея которых подсмотрена у человеческого мозга. Мозг управляет куда более сложными и масштабными нейронными сетями, потребляя при этом всего около 20 Вт. Секрет — в том, что биологические нейроны генерируют импульс (спайк) лишь несколько раз в секунду, тогда как элементы типичной DNN выдают значения на порядки чаще, что и съедает энергию.
До сих пор оставалось неясным, какие именно виды современных DNN можно реализовать на нейроморфном железе с редко срабатывающими нейронами без потери качества. Это требует пересмотра самих принципов построения сетей.
Как имитировать LSTM спайками
Ключевая сложность — блоки долгой краткосрочной памяти (LSTM), которые используются в DNN для обработки последовательностей и которые трудно воспроизвести при малом числе спайков. Решение подсказала биология: после каждого спайка в ряде биологических нейронов возникают медленные последейполяризационные токи (AHP-токи). Такие токи можно реализовать на нейроморфном железе, поддерживающем модели нейронов с несколькими компартментами — например, на процессоре Intel Loihi. Принцип фильтрового приближения объясняет, почему AHP-нейроны способны воспроизводить функциональность LSTM-блоков, что даёт энергоэффективный способ классификации временных рядов и служит основой для крупных DNN, извлекающих связи между словами и предложениями в тексте — например, для ответов на вопросы по содержанию.
Ещё одна проблема связана с тем, что биологические нейроны удерживают мембранный потенциал в довольно узком диапазоне, тогда как в обычных моделях спайковых нейронов при обучении с регуляризацией на низкую частоту срабатывания потенциал часто уходит в сильно отрицательные значения — и такие нейроны фактически выпадают из вычислений сети. Авторы предложили новую технику регуляризации мембранного напряжения, которая устраняет эту проблему и позволяет строить исключительно разреженно срабатывающие спайковые сети.
Результаты на Loihi 2
Эксперименты проводились на Loihi 2 — втором поколении экспериментального нейроморфного чипа Intel, представленного Intel Labs годом ранее и содержащего около миллиона искусственных нейронов. Тестовая конфигурация состояла из 32 чипов Loihi.
Статья «A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware», опубликованная в журнале Nature Machine Intelligence, утверждает: чипы Intel оказались до 16 раз энергоэффективнее ненейроморфного железа при задачах глубокого обучения. В TU Graz подчёркивают, что, хотя превосходство специализированного железа выглядело очевидным и раньше, экспериментально это было подтверждено впервые.
Значимость результата в том, что модели глубокого обучения сейчас находятся в центре внимания ИИ-исследований по всему миру и метят в практические приложения, но именно энергопотребление необходимого для их работы железа остаётся главным барьером для массового внедрения. В другой работе, «Brain-inspired computing needs a master plan», авторы отмечают, что впечатляющие достижения топовых ИИ-систем вроде AlphaGo и AlphaZero от DeepMind требуют тысяч параллельных вычислительных блоков, каждый из которых потребляет около 200 Вт.
Что моделировали учёные
В своей работе исследователи TU Graz анализировали алгоритмы, связанные с обработкой временных процессов, — например, способность системы отвечать на вопросы по ранее прочитанному тексту или понимать контекстные связи между объектами и людьми. По сути, модель воспроизводила механизм кратковременной памяти человека — точнее, ту систему памяти, которую, как считается, использует человеческий мозг. Для этого учёные соединили два типа глубоких нейросетей: сеть с обратной связью, отвечающую за кратковременную память, и сеть прямого распространения — чтобы выяснить, какие обнаруженные закономерности критически важны для решения задачи.
Нейроморфное железо вроде чипов Loihi хорошо подходит для быстрых, разреженных и непредсказуемых паттернов активности, характерных для мозга и необходимых для максимально энергоэффективных ИИ-приложений.
Куда это может привести
Пересмотр реализации глубокого обучения с оглядкой на биологию способен заметно повысить энергоэффективность таких задач. По словам представителей Intel, нейроморфные чипы компании со временем могут быть интегрированы в процессоры — чтобы дать системам энергоэффективную обработку ИИ-нагрузок, — либо стать доступными в виде облачного сервиса.
Источник: MarkTechPost.