Исследователи NVIDIA представили Cosmos-H-Dreams — генеративный симулятор для хирургической робототехники, способный работать в реальном времени на одном GPU.
Проблема
Хирургическая робототехника движется от телеуправления к автономным vision-language-action политикам, но обучение и тестирование таких систем остаётся дорогим и медленным. Физические платформы стоят значительных средств, эксперименты медленно воспроизводятся, а ошибка может повредить инструменты или биологический материал. Обычные симуляторы безопаснее, но хирургические сцены чрезвычайно сложны для моделирования: деформируемые ткани, тонкие взаимодействия инструментов, бликующие поверхности, швы, иглы, дым и перекрытия.
World foundation models предлагают иной подход: вместо ручного описания каждого объекта и физического взаимодействия они изучают визуальную динамику напрямую из синхронизированного видео и кинематики робота.
Как устроен Cosmos-H-Dreams
Cosmos-H-Dreams — это эволюция более ранней модели Cosmos-H-Surgical-Simulator, построенной на базе NVIDIA Cosmos-Predict2.5-2B и дообученной на датасете Open-H-Embodiment. Предшественник генерировал будущие кадры хирургического видео из начальной сцены и последовательности действий, что позволяло оценивать политики и генерировать синтетические данные, но не в реальном времени.
Новая версия дистиллирует возможности большой модели в каузальную студенческую модель. Процесс дистилляции состоит из нескольких этапов:
Teacher fine-tuning. Учитель дообучается на смеси датасета JHU dVRK — успешные демонстрации, а также выпавшие иглы, неудачные проколы и другие сбои. Симимулятор должен воспроизводить последствия плохих действий, а не только идеальные траектории. Для стабильности горизонт обучения постепенно увеличивается с 12 до 72 кадров.
Causal warmup. Траектории денойзинга учителя предвычисляются и кэшируются. Студент инициализируется от учителя и обучается имитировать эти траектории, осваивая каузальное внимание и потоковый KV-кэш.
Self-forcing distillation. Ключевая инновация: студент во время обучения разворачивается, используя свой собственный сгенерированный контекст, а не чистые ground-truth данные. Это устраняет расхождение между условиями тренировки и инференса, когда модель вынуждена опираться на собственные несовершенные выходы. Замороженный учитель направляет эти самогенерированные развёртки в сторону реалистичного видео — метод распределение-матчинга.
Результат — модель, поддерживающая few-step диффузию (от двух шагов денойзинга на латентный кадр) вместо многошагового процесса учителя.
FlashDreams — движок реального времени
Студент подаётся через FlashDreams — ускоренную библиотеку потокового инференса от NVIDIA. Она комбинирует потоковый KV-кэш, захват CUDA Graph и компиляцию модели, превращая модель пайплайн из режима ~10 кадров/с (стандартный Cosmos-H-Surgical-Simulator) в интерактивный режим ~160 кадров/с на одном NVIDIA RTX PRO 6000.
Способы взаимодействия
Cosmos-H-Dreams поддерживает несколько интерфейсов управления: - Браузерный клиент — передаёт команды с клавиатуры и принимает сгенерированные кадры через WebRTC - Meta Quest — отслеживание движений контроллера через WebXR - Программный — замкнутый цикл с learned policy: модель получает наблюдения, предсказывает следующие кадры, политика выдаёт действия
Продемонстрирована интеграция с консолью Versius (CMR Surgical, Cambridge Consultants), что позволило управлять симуляцией напрямую с реального хирургического контроллера.
Что дальше
Следующий шаг — выход за рамки визуального качества. Полезный симулятор должен корректно реагировать на действия, сохранять структуру инструментов и сцены на длинных развёртках, а его выводы — переноситься на физического робота. Разрабатываются бенчмарки замкнутого цикла: точность положения инструмента, стабильность захвата, дрейф на длинных горизонтах, согласованность симулированных и реальных исходов.
Модель, код и рецепт дообучения опубликованы на Hugging Face и GitHub.
Источник: huggingface.co (блог NVIDIA)