На Hot Chips 2026 компания Micron представила доклад о том, как архитектуры памяти эволюционируют под задачи искусственного интеллекта. Главный тезис — высокоскоростная память HBM и передовые методы упаковки (advanced packaging) вышли на первый план при проектировании ИИ-ускорителей, а традиционные подходы к наращиванию вычислительной мощности упираются в «стену памяти».
Почему память стала узким местом
Micron начала доклад с анализа вычислительного фронта OpenAI, чтобы показать, почему память стала центральным ресурсом масштабирования языковых моделей. Компания указывает на степенную зависимость между размером модели, объёмом набора данных и вычислительной мощностью обучения: все три параметра должны расти одновременно, чтобы производительность LLM улучшалась. Память — это ресурс, который связывает эти три фактора.
Ключевая цифра доклада — разрыв в темпах роста. Вычислительная мощность ИИ-акселераторов (TFLOPS) удваивается примерно каждые два года с коэффициентом 3x, тогда как пропускная способность памяти, подключённой через 2.5D-упаковку (например, HBM), растёт менее чем в 2 раза за тот же период. Именно этот расширяющийся разрыв делает технологию памяти главным фактором, ограничивающим производительность ИИ-систем.
Что такое HBM и как она устроена
Micron описывает HBM как «мост» между вычислениями и памятью. Компания проследила эволюцию от HBM2e до HBM5, отмечая рост ёмкости стека, пропускной способности и энергоэффективности в каждом поколении.
Наглядный пример масштаба: типичный GPU с 12-слойным HBM4 занимает площадь более 12 000 квадратных миллиметров с учётом подложки и восьми экземпляров HBM4. При этом площадь самих кристаллов памяти может превышать площадь GPU более чем в 8 раз.
Технические детали, которые привела Micron:
- каждый кристалл DRAM содержит несколько независимых каналов, с двумя псевдоканалами на канал;
- HBM3E несёт 128 банков на кристалл, HBM4 удваивает это число до 256;
- между хостом и стеком DRAM находится базовый кристалл (base die), использующий микроконтактный PHY на стороне хоста и 3D TSV PHY в стеке;
- межсоединения на интерпозере выросли с 1K IO у HBM3E до 2K IO у HBM4.
HBM не устанавливается как обычный модуль ECC RDIMM. Стек HBM интегрируется с GPU или ускорителем в гетерогенной системе, упакованной как System-in-Package (SiP), а не как отдельный модуль в разъёме.
Цена скорости: кремний, тепло и надёжность
Micron честно обозначила стоимость высокой пропускной способности. С учётом архитектуры, передовой упаковки и сложности производства, для достижения той же ёмкости, что у DDR5, требуется примерно в 3 раза больше кремния.
Отдельный блок доклада был посвящён надёжности. Разница коэффициентов теплового расширения между материалами в гетерогенно интегрированном устройстве HBM создаёт термомеханическое давление. Это одна из ключевых проблем, с которой столкнулась компания Cerebras при создании своего кристалла WSE.
Коррекция ошибок ECC реализована в два слоя, начиная с HBM3:
- 16 метабит на 256-битный доступ на уровне системы;
- символьный код Рида-Соломона, реализованный на кристалле.
Тепловой вопрос становится всё острее: рост активности кристаллов DRAM, увеличение высоты стеков и усложнение базового кристалла добавляют тепла. Micron видит решение в жидкостном охлаждении, гибридном соединении (hybrid bonding) и изменении припоя и бокового молирования.
Будущее упаковки
На стороне межсоединений Micron отмечает развитие скоростных IO-линий и увеличение размеров интерпозеров. В числе технологий — ускоренный дизайн IO, оптимизированные под память SERDES, PHY для соединения кристалл-кристалл и со-упакованная оптика. На уровне упаковки — более крупные SiP в духе CoWoS-L и CoWoS-R, а также стеклянные подложки.
По мере того как HBM и упаковка становятся центром проектирования, меняется и вся инфраструктура ИИ-кластеров: например, Cerebras CS-4 предлагает архитектуру без сетевых коммутаторов, а операторы строят выделенные «ИИ-коридоры» для передачи данных.
Частые вопросы
Что такое «стена памяти»?
Это разрыв между тем, как быстро растёт вычислительная мощность ИИ-ускорителей (примерно 3x за два года), и тем, как медленно увеличивается пропускная способность памяти (менее 2x за два года). Из-за этого память становится ограничителем производительности ИИ-систем.
Почему HBM дороже DDR5?
Из-за сложности архитектуры, передовой упаковки и производства: для той же ёмкости, что у DDR5, требуется примерно в 3 раза больше кремния.
Что такое базовый кристалл (base die) в HBM?
Это слой между хостом и стеком DRAM, который обеспечивает соединение: микроконтактный PHY со стороны хоста и 3D TSV PHY в стек. Он также выполняет функции контроллера и буферизации.
Как решается проблема тепла в HBM?
Micron предлагает жидкостное охлаждение, гибридное соединение кристаллов и изменение материалов (припой, боковое молирование) для отвода тепла от растущих стеков памяти.
Что такое ECC в HBM и зачем он нужен?
Это коррекция ошибок памяти. В HBM3 и новее используется двухслойная схема: 16 метабит на 256-битный доступ на уровне системы и код Рида-Соломона на кристалле. Это защищает от сбоев, вызванных термомеханическим давлением и другими факторами.
Какие технологии упаковки будут развиваться?
Micron указывает на CoWoS-L и CoWoS-R, стеклянные подложки, ускоренные IO-линии и со-упакованную оптику. Это позволит делать более крупные SiP и наращивать пропускную способность.
Почему HBM важна для ИИ-дата-центров?
HBM поднимает потолок пропускной способности памяти, позволяя ресурсоёмким ИИ-задачам работать быстрее до упора в ограничение по памяти. Сдвиг ёмкости в сторону HBM и рост её использования — одна из причин текущего дефицита памяти.
Источник: servethehome.com