Arista Networks разрабатывает программного агента, который должен связать в единое целое сетевую инфраструктуру и серверные системы крупных ИИ-кластеров. Разработка ведётся в сотрудничестве с Nvidia — агент рассчитан на работу с SuperNIC BlueField-3, картой, ориентированной именно на масштабные ИИ-нагрузки. Она обеспечивает пропускную способность до 400 Гбит/с за счёт удалённого прямого доступа к памяти (RDMA) поверх Converged Ethernet (RoCE), что позволяет максимизировать пропускную способность между серверами с GPU.
Как устроен агент
В основе решения лежит EOS (Extensible Operating System) — флагманская сетевая ОС Arista, которая управляет всеми её коммутаторами и маршрутизаторами. Агент интегрирует сетевые функции и подключённые GPU в единый управляемый комплекс.
По словам CEO Arista Джейшри Уллал, написавшей об этом в корпоративном блоге, удалённый агент может работать непосредственно на SuperNIC Nvidia BlueField-3 либо на самом сервере, собирая телеметрию с SuperNIC. Это позволяет EOS на сетевом коммутаторе настраивать, отслеживать и диагностировать сетевые проблемы прямо на сервере, обеспечивая сквозную согласованность конфигурации сети и качества обслуживания (QoS).
«Удалённый агент, развёрнутый на ИИ-карте или сервере, превращает коммутатор в эпицентр ИИ-сети — для настройки, мониторинга и диагностики проблем на хостах и GPU», — отметила Уллал. По её словам, это даёт единую точку контроля и видимости, а EOS может напрямую сообщать топологию сети, централизуя её обнаружение и используя привычные механизмы конфигурации и управления Arista на всех платформах Etherlink и у партнёров компании.
Технология Etherlink будет поддерживаться в широком спектре продуктов, включая системы и линейные карты 800G, и совместима со спецификациями Ultra Ethernet Consortium.
Уллал объяснила необходимость такого решения ростом объёмов данных для ИИ: по мере увеличения размеров больших языковых моделей (LLM) распараллеливание данных становится неизбежным, а число GPU для обучения таких моделей не поспевает за ростом числа параметров и размера датасетов. Эффективность любого вида параллелизации — данных, модели или конвейера — определяется именно сетью, связывающей GPU между собой, поскольку они постоянно обмениваются и вычисляют глобальные градиенты для корректировки весов модели. Поэтому GPU, сетевые карты, оптика, кабели, системы хранения и сама сеть должны работать как единый ИИ-центр, а не разрозненные силосы.
Демонстрация технологии агента запланирована на 5 июня — в день 10-летия IPO Arista на NYSE, а пользовательские тесты начнутся во второй половине 2024 года.
Партнёрство с Vast Data
Параллельно Arista объявила о партнёрстве с Vast Data — компанией, основанной в 2019 году и предлагающей интегрированную платформу хранения, баз данных и вычислений для крупномасштабных ИИ-нагрузок в дата-центрах и облаке. В рамках соглашения коммутаторы Arista сертифицированы для работы в среде Vast, а компании совместно займутся интеграцией технологий безопасности и управления для ИИ-инфраструктур. Клиенты смогут отслеживать, как данные ИИ перемещаются по маршруту от edge к core и далее в облако.
По заявлению Vast, платформа VAST Data Platform использует собственные технологии дедупликации и сжатия данных Similarity, что заметно снижает энергопотребление и повышает эффективность. Помимо Arista, у Vast есть и другие партнёрства — с Nvidia (использование того же SuperNIC BlueField-3) и с Hewlett Packard Enterprise, чья технология применяется в сервисе HPE GreenLake File Storage.
Источник: NetworkWorld.