Глубокое обучение долго считалось «чёрным ящиком»: нейросети с десятками слоёв и миллионами связей выдают точные предсказания, но объяснить, что именно происходит внутри них, было почти невозможно. Группа исследователей под руководством Хунфэна Хэ (Hangfeng He) и Вэйцзе Дж. Су (Weijie J. Su) представила эмпирический закон, который вносит порядок в эту кажущуюся хаотичной картину.
Что такое «закон равного разделения»
Авторы назвали открытую закономерность «законом равного разделения» (law of equi-separation). Суть в следующем: по мере прохождения данных через слои сети их разделение по классам улучшается геометрически, причём с постоянным коэффициентом на каждом слое. Иными словами, обучение — это не хаотичный процесс, а предсказуемая, структурированная последовательность шагов.
Закономерность описывается формулой:
D(l) = ρ^l × D(0)
где D(l) — «размытость разделения» (separation fuzziness) на l-м слое, ρ — коэффициент затухания, а D(0) — размытость разделения на исходном, нулевом слое. Проще говоря, с каждым новым слоем данные разных классов становятся всё более чётко разграничены, и это происходит с одинаковым темпом на протяжении всей сети.
Закон был продемонстрирован на примере 20-слойной полносвязной нейросети, обученной на наборе данных Fashion-MNIST: устойчивая закономерность проявилась начиная примерно со 100-й эпохи обучения. Авторы подчёркивают, что она сохраняется для разных архитектур и наборов данных, а не является особенностью конкретного эксперимента.
Почему это важно
До сих пор проектирование архитектур нейросетей во многом опиралось на эвристики и метод проб и ошибок, что нередко приводило либо к неоптимальным решениям, либо к избыточным вычислительным затратам. Закон равного разделения даёт количественный ориентир: он подтверждает, что глубина сети действительно нужна для качественной классификации данных, но одновременно намекает, что чрезмерное увеличение числа слоёв приносит всё меньше пользы — эффект от каждого дополнительного слоя убывает.
Исследователи также связывают соблюдение закона с устойчивостью моделей. В одном из экспериментов сеть, следующая закону равного разделения, показала точность на тестовых данных 23,85% против 19,67% у сети со «замороженными» (не обучаемыми) слоями при сопоставимых показателях на обучающей выборке. Это указывает на то, что сети, демонстрирующие закономерность, лучше обобщают знания за пределы обучающего набора и устойчивее к возмущениям входных данных.
Новый взгляд на интерпретируемость
Отдельная ценность открытия — в подходе к объяснению работы нейросетей. Традиционно слои анализируют по отдельности, пытаясь понять вклад каждого из них. Закон равного разделения предлагает смотреть иначе: каждый слой выступает как модуль, вносящий равномерный вклад в общий процесс классификации, и осмысленную картину даёт только совокупное поведение всех слоёв сети.
Авторы отмечают, что это может изменить не только теоретическое понимание глубокого обучения, но и практику: от выбора архитектуры до объяснения конкретных решений моделей в критически важных приложениях, где интерпретируемость особенно важна.
Работа доступна в виде препринта; исследователи предлагают воспринимать закон равного разделения как отправную точку для дальнейшего изучения внутренней динамики глубоких нейросетей.
Источник: MarkTechPost.