NVIDIA Dynamo для RL: маршрутизация, delta-обновления весов и восстановление воркеров

Обучение с подкреплением (RL) устроено так: воркеры генерируют rollout — последовательности выходов модели, действий и взаимодействий со средой, — фреймворк оценивает результаты, обновляет веса и возвращает их воркерам на следующий круг. Когда обучение растёт, повторные вычисления, медленные rollout, раздача весов и отказы воркеров съедают GPU и задерживают итерации. NVIDIA Dynamo предлагает слой обслуживания, который снимает часть этих узких мест: маршрутизацию запросов, доставку весов через ModelExpress и восстановление после сбоев.

Почему rollout в RL тормозит обучение

Один rollout для рассуждающей модели может содержать один ответ, а rollout кодинг-агента — исследование репозитория, правки, вызовы инструментов и тесты. Нагрузка на инференс-воркеры распределяется неравномерно, и на итог влияют три ограничения.

  • Время завершения rollout. Для шага обучения нужна группа сэмплов, и самый медленный rollout задерживает следующий шаг. Равное число запросов на GPU не означает равный объём работы.
  • Повторяющийся контекст. Несколько попыток часто начинаются с одинаковых инструкций, описания задачи или контекста репозитория. Пересчёт этих префиксов тратит GPU ещё до генерации нового вывода.
  • Свежесть весов. За прогон веса обновляются многократно, и воркеры должны получать их в соответствии с требованиями алгоритма к сэмплированию и допустимому устареванию.

Какое из ограничений оптимизировать первым, зависит от конкретной нагрузки: где-то упор в маршрутизацию, где-то в раздачу весов, где-то в отказоустойчивость.

Как устроен Dynamo в RL

Dynamo стоит между оркестрацией rollout и инференс-воркерами: фреймворк RL отправляет запросы на генерацию, Dynamo направляет их на доступные мощности, инференс-движок выполняет модель. Ответственность компонентов разделена явно.

Компонент Роль
Фреймворк RL Оптимизация, награды, среды, чекпоинты, приёмка сэмплов
Dynamo Маршрутизация, управление воркерами, сервисные контроли, телеметрия
Инференс-движок Генерация и применение обновлённых весов
ModelExpress Распространение весов и артефактов через поддерживаемые интеграции

Генерация и администрирование весов идут разными путями: запросы проходят через общий сервисный фронтенд, а операции обновления адресуются выбранным воркерам под управлением фреймворка. Поэтому фреймворк решает, когда воркер может генерировать сэмплы и какие результаты годятся для обучения, а Dynamo улучшает обслуживание, не забирая у него управление процессом обучения.

KV-aware маршрутизация: меньше повторного счёта

В RL часто генерируется несколько решений одной задачи с общим промптом. Если отправить такие запросы воркеру, у которого промпт уже в KV-кэше, повторная обработка не нужна — экономится GPU. Но если слать всё одному воркеру, перед ним вырастает очередь, и rollout вместе со следующим шагом обучения задерживается.

Роутер Dynamo балансирует переиспользование KV-кэша и загрузку воркеров, чтобы сократить и лишние вычисления, и ожидание. Цель — раньше завершить сэмплы, нужные для обучения. Похожий подход к разделению нагрузки между GPU разбирается в материале про TensorRT multi-device в Dynamo-Triton.

ModelExpress: дельта-обновления вместо полного чекпоинта

Раздача полного чекпоинта каждому rollout-воркеру занимает время и может прерывать генерацию. ModelExpress сокращает накладные расходы, переиспользуя веса, уже находящиеся в кластере, вместо загрузки из удалённого хранилища. Совместимые воркеры могут копировать веса напрямую с другой GPU через NIXL.

Дельта-передача весов уменьшает объём данных между обновлениями: вместо всей модели передаётся сжатое представление изменений, а воркеры восстанавливают новые веса от соответствующей базовой версии. Это снижает время передачи и сетевой трафик. Тот же механизм помогает восстановлению: заменивший воркер загружает чекпоинт и применяет последующие дельты, догоняя прогон, пока здоровые воркеры продолжают генерировать rollout.

Восстановление: сбой воркера не останавливает обучение

Dynamo замечает потерю воркера, направляет новые запросы на подходящие мощности и добавляет замену в маршрутизацию, когда она готова. Поддерживаемые конфигурации также позволяют мигрировать подходящие запросы, уже находящиеся в работе, и выполнять плавное дренирование. Прерванные сэмплы обрабатывает фреймворк RL — он же следит, чтобы замена использовала нужные веса.

Кто уже использует Dynamo

Dynamo применяется в разработке frontier-моделей, управляемой инфраструктуре и открытых фреймворках. Microsoft AI использовала Dynamo для инференса rollout при пост-тренировке. CoreWeave с Dynamo и ModelExpress ускоряет обновление весов модели до 15 раз. Cognition управляла через Dynamo инференс-воркерами и маршрутизировала rollout при пост-тренировке SWE-1.7. Prime Intellect использует Dynamo для оркестрации распределённого инференса. H Company с Dynamo и ModelExpress сократила среднее время шага обучения до 20% и GPU-часы до 5%.

Открытые интеграции связывают Dynamo с существующими RL-стекми: verl, NeMo RL, Slime и prime-rl. Родственные темы — эластичное RL для агентов в QwenGyre и восстановление GPU-нагрузок через NVIDIA Snapshot.

Dynamo не заменяет RL-фреймворк, а собирает воедино генерацию rollout, раздачу весов и восстановление воркеров, помогая превращать распределённые GPU в принятые обучающие сэмплы и быстрее проходить итерации. Начать можно с документации Dynamo RL.

Частые вопросы

Что именно ускоряет Dynamo в RL?

Три вещи: маршрутизацию запросов с учётом KV-кэша, доставку весов через ModelExpress с дельта-обновлениями и восстановление после отказов воркеров. Каждая бьёт по своему узкому месту.

Чем KV-aware маршрутизация отличается от равномерной раздачи запросов?

Она учитывает, у какого воркера уже закэширован промпт, и одновременно следит за загрузкой, чтобы не собрать очередь на одном GPU. Равное число запросов на GPU не равно равному объёму работы.

Что такое дельта-передача весов?

Вместо полной модели между обновлениями передаётся сжатое представление изменений. Воркер восстанавливает новые веса от соответствующей базовой версии, экономя время и сетевой трафик.

Как быстро заменивший воркер догоняет обучение?

Он загружает чекпоинт и применяет последующие дельты. Здоровые воркеры при этом продолжают генерировать rollout, а фреймворк RL отвечает за прерванные сэмплы и нужные веса.

Нужно ли переписывать RL-фреймворк под Dynamo?

Нет. Dynamo встраивается через открытые интеграции с verl, NeMo RL, Slime и prime-rl, а управление обучением остаётся у фреймворка.

Кто отвечает за то, какие сэмплы пойдут в обучение?

Фреймворк RL: он определяет, когда воркеры могут генерировать, и проверяет приёмку результатов. Dynamo отвечает за маршрутизацию, управление воркерами и телеметрию.

Какие результаты приводят пользователи Dynamo?

CoreWeave ускоряет обновление весов до 15 раз, H Company сократила среднее время шага обучения до 20% и GPU-часы до 5%. Microsoft AI, Cognition и Prime Intellect применяют Dynamo в своих RL-процессах.

Работает ли это с не-NVIDIA оборудованием?

В исходной статье совместимость с оборудованием других производителей не рассматривается. Описанные механизмы опираются на NIXL и копирование весов между GPU.

Источник: developer.nvidia.com