В NVIDIA Dynamo появился механизм быстрого восстановления LLM-инференса

Предварительная функция Shadow Engine Recovery поддерживает на тех же GPU заранее инициализированный резервный движок, готовый заменить отказавший процесс. В тесте NVIDIA второй воркер возобновил обработку запросов за 7,3 секунды вместо 283 секунд при холодном перезапуске.

NVIDIA представила предварительную функцию Shadow Engine Recovery для платформы распределенного инференса больших языковых моделей NVIDIA Dynamo. Механизм предназначен для восстановления после сбоев процесса движка без повторной загрузки весов модели и полной инициализации.

Рядом с активным движком на тех же GPU работает заранее подготовленный резервный процесс. Служба GPU Memory Service (GMS) сохраняет одну физическую копию весов в высокоскоростной памяти HBM и предоставляет ее обоим процессам с помощью механизма управления виртуальной памятью CUDA. Резервный движок заранее создает контекст CUDA, графы и коммуникационные структуры, но до переключения не занимает память под KV-кеш.

В тесте NVIDIA использовались два воркера с моделью GLM-5.2 в формате NVFP4 на узлах с ускорителями B200. После принудительной остановки одного воркера холодный перезапуск занял 283 секунды, а резервный движок начал обслуживать запросы через 7,3 секунды. Медианное время до первого токена после сбоя составило 1,311 секунды против 23,815 секунды в базовой конфигурации.

Функция рассчитана на сбои процессов и не защищает от отказа оборудования, узла или распределенного набора узлов. Для нее требуются Kubernetes 1.34 или новее с Dynamic Resource Allocation и драйвером NVIDIA GPU DRA; основным поддерживаемым сервером инференса пока остается vLLM. NVIDIA намерена расширять поддержку по мере стабилизации реализации.

Техническое описание и результаты испытаний опубликованы в блоге NVIDIA.