Глубокие нейронные сети давно доказали свою силу в компьютерном зрении, обработке естественного языка и других областях. Но у их успеха есть обратная сторона: чем точнее и мощнее модель, тем труднее понять, почему она приняла то или иное решение. Эта дилемма — интерпретируемость против эффективности — остаётся одной из главных нерешённых проблем машинного обучения.
Интерпретируемость определяет, насколько человек способен понять, откуда взялся тот или иной вывод модели, и именно от неё зависит, можно ли доверять системе и проверять её работу. Байесовские сети, машины Больцмана и другие вероятностные модели считаются «белыми ящиками» — они изначально устроены так, что позволяют раскрывать скрытые причинно-следственные связи через вероятностные рассуждения, близкие к тому, как статистически мыслит человек. Проблема в том, что по чистой производительности такие модели заметно уступают современным глубоким нейросетям. Получается, что одновременно добиться и высокой эффективности, и прозрачности пока не удаётся.
Тензорные сети как альтернативный путь
На фоне бурного развития как квантовых, так и классических вычислений исследователи всё чаще обращаются к тензорным сетям (tensor networks, TN) — инструменту, который может предложить выход из этого тупика. Тензорная сеть — это результат свёртки (contraction) более чем одного тензора, а то, каким образом тензоры свёртываются друг с другом, определяется структурой самой сети.
Новая работа учёных из Пекинского педагогического университета столицы (Capital Normal University) и Университета Китайской академии наук (University of Chinese Academy of Sciences) обобщает последние достижения в применении тензорных сетей для построения эффективного и при этом интерпретируемого квантово-вдохновлённого машинного обучения. Авторы предлагают схему под названием «TN ML butterfly» («бабочка тензорных сетей для ML»), которая перечисляет преимущества этого подхода.
Все выгоды от использования тензорных сетей в машинном обучении, если добавить к ним «квантовый» акцент, сводятся к двум ключевым направлениям: интерпретируемость, унаследованная от квантовой теории, и эффективность, характерная для квантовых вычислительных процедур. Опираясь на такие квантовые концепции, как теория запутанности (entanglement) и квантовая статистика, тензорные сети позволяют выстроить вероятностную основу для интерпретируемости, которая выходит за рамки классических информационных или чисто статистических подходов.
С другой стороны, благодаря надёжным квантово-механическим алгоритмам на базе тензорных сетей и заметному прогрессу квантовых вычислительных технологий, квантово-вдохновлённые методы TN ML смогут эффективно работать как на классических, так и на квантовых вычислительных платформах.
Актуальность на фоне роста генеративных моделей
Отдельно исследователи отмечают контекст, в котором проводится эта работа: генеративные предобученные трансформеры в последнее время резко нарастили вычислительную мощность и сложность моделей, а это создаёт для тензорных сетей как новые возможности, так и новые вызовы. Чем масштабнее и сложнее становятся такие модели генеративного ИИ, тем важнее умение интерпретировать их результаты — это открывает путь к более эффективным исследованиям, более безопасному контролю над системами и более грамотному их использованию.
По мнению авторов работы, по мере вхождения индустрии в эпоху настоящих квантовых вычислений — и уже сейчас, в текущую эпоху NISQ (зашумлённых квантовых устройств промежуточного масштаба) — тензорные сети быстро превращаются в один из главных математических инструментов для изучения квантового ИИ. Речь идёт сразу о нескольких направлениях: теории, моделях, алгоритмах, программном и аппаратном обеспечении, а также прикладных задачах.
Источник: MarkTechPost.