Amazon Web Services и Nvidia объявили о расширении альянса: компании планируют добавить суперкомпьютерные мощности в ИИ-инфраструктуру AWS. Новость прозвучала на конференции AWS re:Invent в Лас-Вегасе.
Project Ceiba — суперкомпьютер для самой Nvidia
Главная часть анонса — Project Ceiba, суперкомпьютер, который AWS разместит у себя, но использовать его будут исследовательские и инженерные команды самой Nvidia. Система получит 16 384 суперчипа Nvidia GH200 и, по заявлению компаний, сможет обрабатывать до 65 эксафлопс ИИ-вычислений.
Ceiba будет интегрирован с рядом сервисов AWS, включая зашифрованную сеть Amazon Virtual Private Cloud (VPC) и высокопроизводительное блочное хранилище Amazon Elastic Block Store. Nvidia намерена использовать суперкомпьютер для развития больших языковых моделей, графики и симуляций, цифровой биологии, робототехники, беспилотных автомобилей, а также проекта климатического моделирования Earth-2.
Новые инстансы EC2 и NeMo Retriever
AWS анонсировала новые инстансы Amazon EC2: G6e на базе Nvidia L40S и G6 на базе L4. Чипы L4 — упрощённая версия Hopper H100, зато они заметно энергоэффективнее. Новые инстансы рассчитаны на стартапы, корпоративных заказчиков и исследователей, которые экспериментируют с ИИ.
Nvidia также рассказала о планах интегрировать в AWS свой микросервис NeMo Retriever — он помогает компаниям подключать собственные LLM к корпоративным данным, чтобы генеративные инструменты вроде чат-ботов отвечали на основе внутренней информации бизнеса.
Основатель и CEO Nvidia Дженсен Хуанг прокомментировал сотрудничество: «Генеративный ИИ трансформирует облачные нагрузки и делает ускоренные вычисления фундаментом для генерации самого разного контента. Движимые общей миссией — сделать современный генеративный ИИ доступным и экономически выгодным для каждого клиента, — Nvidia и AWS сотрудничают по всему вычислительному стеку: от ИИ-инфраструктуры и библиотек ускорения до базовых моделей и генеративных ИИ-сервисов».
Grace Hopper Superchips и DGX Cloud
AWS станет первым облачным провайдером, который предложит суперчипы Nvidia GH200 Grace Hopper в облаке. Многоузловая платформа Nvidia GH200 NVL32 объединяет 32 суперчипа Grace Hopper через интерконнекты NVLink и NVSwitch. Платформа будет доступна в инстансах Amazon EC2, связанных сетевой инфраструктурой AWS, системой виртуализации AWS Nitro System и технологией кластеризации Amazon EC2 UltraClusters.
Кроме того, AWS разместит у себя кластер GPU Nvidia DGX Cloud для задач ИИ. DGX Cloud на AWS ускорит обучение генеративных моделей и LLM с числом параметров свыше триллиона.
Источник: NetworkWorld.