Генеративно-состязательные сети (GAN) остаются одним из самых мощных инструментов для синтеза изображений, но и одним из самых капризных в обучении. Классическая архитектура GAN состоит из двух конкурирующих нейросетей: генератора, который создаёт RGB-изображения, и дискриминатора, чья задача — отличить настоящие снимки от сгенерированных. Несмотря на впечатляющее качество результата, такие сети требуют огромных вычислительных ресурсов, тщательной регуляризации и мучительного подбора гиперпараметров.
Идея: подключить предобученные сети
Группа исследователей из Тюбингенского университета, Института интеллектуальных систем Общества Макса Планка и Гейдельберга предложила способ упростить и ускорить обучение GAN за счёт использования предобученных представлений. Сама идея не нова: в компьютерном зрении и обработке естественного языка предобученные сети давно стали стандартом, а в задачах image-to-image перевода их сочетание с GAN уже приносило хорошие результаты. Но вот для безусловного синтеза изображений «из шума» этот приём до сих пор не срабатывал.
Проблема, как объясняют авторы, в том, что при наивном подключении мощных предобученных признаков дискриминатор становится слишком сильным игроком в этой состязательной игре — он начинает уверенно доминировать над генератором, из-за чего градиент для последнего попросту затухает и обучение останавливается.
Два ключевых компонента
Чтобы раскрыть потенциал предобученных признаковых пространств без вреда для баланса игры, авторы предложили метод Projected-GAN, который опирается на два элемента:
- пирамиды признаков — позволяют получать многомасштабную обратную связь сразу от нескольких дискриминаторов;
- случайные проекции — дают возможность эффективнее задействовать более глубокие слои предобученной сети.
Комбинация этих приёмов, по словам исследователей, существенно снижает объём данных, необходимых для обучения, делает систему более эффективной и избавляет от дорогостоящего перебора гиперпараметров.
Результаты
Метод протестировали на наборах данных разного размера — от небольших коллекций до больших датасетов с разрешением изображений вплоть до 1024×1024 пикселей. Сравнение проводилось по трём направлениям: скорость сходимости и эффективность использования данных, работа на крупных датасетах и работа на малых датасетах. По всем трём сценариям Projected-GAN показал низкое значение метрики FID (Fréchet Inception Distance), что говорит о высоком качестве и разнообразии сгенерированных изображений — и при этом сеть требовала заметно меньше времени на обучение, чем существующие подходы.
Код проекта авторы открыли — исходники доступны на GitHub, а подробности метода описаны в отдельной научной статье.
Источник: MarkTechPost.