NVIDIA выпускает оптические трансиверы для своих ускорительных платформ, и один из них — MMS1X00-N5400. Это модуль QSFP112 с длиной волны 1310 нм и пропускной способностью 400 Гбит/с, рассчитанный на соединения до 500 метров. Его используют, чтобы связать системы NVIDIA GB300 AI Station с коммутатором NVIDIA Spectrum-X.
Что внутри: QSFP112, четыре канала по 112 Гбит/с
Форм-фактор — QSFP112. Расшифровка простая: QSFP означает четырёхканальный модуль, а 112 — сигнализация 112G PAM4. То есть перед нами стандартный сменный трансивер, более компактный, чем форм-фактор OSFP, который часто встречается на скоростях 800 Гбит/с и 1,6 Тбит/с.
Схема 4x 112G означает, что в разъёме MPO-12 задействовано только восемь волокон из двенадцати. Оптика рассчитана на дальность до 500 метров.
Отдельная деталь — небольшие радиаторы, которые NVIDIA ставит на модули снаружи корпуса. Обычно порты 400 Гбит/с охлаждаются изнутри, со стороны клетки устройства, а здесь радиатор вынесен наружу, поэтому модуль немного выступает из сетевой карты и коммутатора.
Почему QSFP112, а не QSFP56-DD
Разъём здесь принципиально важен: это QSFP112, а не QSFP56-DD. Модули QSFP56-DD используют более дешёвые линии PAM4 на 56 Гбит/с, поэтому для достижения 400 Гбит/с им нужно восемь каналов. Как следствие, QSFP56-DD — другой разъём, отличный от QSFP112, которому хватает четырёх каналов до устройства.
Практическая выгода в том, что при использовании оптики DR4/LR4 не нужен gearbox внутри модуля, чтобы подключить линию 400 Гбит/с DR4 на 500 метров от коммутатора. Это упрощает схему подключения и убирает лишнее преобразование внутри трансивера.
Подключение на 400GbE через ConnectX-8
Модуль проверяли на системе NVIDIA GB300 AI Station, подключённой к коммутатору на скорости 400 Гбит/с. Соединение автосогласовалось практически мгновенно на сетевой карте NVIDIA ConnectX-8, которая входит в состав платформы. Устройство сообщает о максимальном энергопотреблении 10 Вт, а в работе температура держалась в районе 40 с небольшим градусов Цельсия — существенно ниже порога.
Зачем переплачивать за оптику вместо DAC
Модули стоят дороже, чем DAC-кабели, но в лаборатории с множеством устройств это оправдано. Оптику DR4 можно переносить между коммутаторами или соединять две системы GB300 AI Station напрямую через сетевые карты ConnectX-8 одномодовым кабелем MPO/MTP-12 на 12 волокон. Для тех, кто строит такие связки на уровне инфраструктуры, полезна и сетевая фабрика Cisco под ИИ-кластеры — там та же логика подбора оптики и коммутаторов под ускорители.
Вторая причина — температурный режим. В больших ИИ-кластерах оптика NVIDIA лучше работает при высоких температурах на стороне горячего коридора, чем некоторые популярные универсальные модули. В машинах GB300 AI Station с жидкостным охлаждением активного охлаждения оптических модулей немного, поэтому выбор трансиверов, за которые не придётся беспокоиться, выглядит разумным.
Для администратора, который собирает вычислительный кластер, это означает простую вещь: связка QSFP112 и DR4/LR4-оптики даёт 400 Гбит/с на 500 метров без промежуточного gearbox, а совместимость с ConnectX-8 и Spectrum-X проверяется на месте. При этом стоит помнить, что QSFP112 и QSFP56-DD не взаимозаменяемы — это разные разъёмы с разным числом каналов, и при закупке трансиверов под уже стоящий коммутатор ошибка в форм-факторе обойдётся дорого. Смежная тема — стандартизация GPU-хранилищ вокруг cuFile и Storage-Next: там NVIDIA вместе с вендорами договаривается о том, как ускорители работают с данными, и оптика в этих схемах — такой же обязательный элемент.
Частые вопросы
Что такое NVIDIA MMS1X00-N5400?
Это оптический модуль QSFP112 с длиной волны 1310 нм и скоростью 400 Гбит/с, рассчитанный на соединения до 500 метров. Его применяют для связи систем NVIDIA GB300 AI Station с коммутатором NVIDIA Spectrum-X.
Чем QSFP112 отличается от QSFP56-DD?
QSFP112 использует четыре канала по 112 Гбит/с PAM4, а QSFP56-DD — восемь каналов по 56 Гбит/с. Это разные разъёмы, и они не взаимозаменяемы.
Какой разъём у этого модуля?
MPO-12. При схеме 4x 112G задействуются только восемь волокон из двенадцати.
Зачем на модуле внешний радиатор?
Обычно порты 400 Гбит/с охлаждаются изнутри клетки устройства, но здесь NVIDIA вынесла небольшой радиатор наружу. Из-за этого модуль немного выступает из сетевой карты и коммутатора.
Насколько быстро устанавливается соединение?
На сетевой карте NVIDIA ConnectX-8 соединение на 400 Гбит/с автосогласовалось практически мгновенно.
Сколько потребляет модуль и как греется?
Максимальное энергопотребление заявлено на уровне 10 Вт. В работе температура держалась в районе 40 с небольшим градусов Цельсия — существенно ниже порога.
Почему выбрали оптику, а не DAC-кабель?
Оптика дороже DAC, но позволяет переносить модули между коммутаторами и соединять две системы GB300 AI Station напрямую одномодовым кабелем MPO/MTP-12. Кроме того, в больших ИИ-кластерах оптика NVIDIA лучше ведёт себя при высоких температурах горячего коридора.
Нужен ли gearbox при такой схеме?
Нет. Преимущество QSFP112 в том, что для подключения линии 400 Гбит/с DR4 на 500 метров от коммутатора gearbox внутри модуля не требуется.
Подойдёт ли модуль для соединения двух ИИ-станций напрямую?
Да, две системы GB300 AI Station можно соединить напрямую через сетевые карты ConnectX-8, используя одномодовый кабель MPO/MTP-12 на 12 волокон.
Источник: servethehome.com