NVIDIA Dynamo 影子引擎恢复

NVIDIA 宣布了 NVIDIA Dynamo 中的一项新预览功能,称为影子引擎恢复。当 LLM 引擎崩溃时,冷重启可能导致数分钟的容量损失。影子引擎恢复功能会维护一个已预热并随时准备接管的备用引擎。在使用 GLM-5.2 模型的测试中,该功能在 7.3 秒内恢复了容量,比冷重启快了近 39 倍。
Key insights
快速恢复对生产环境中的 LLM 部署至关重要
LLM 引擎崩溃导致的数分钟停机时间,直接转化为生产环境中的容量损失和用户体验下降。影子引擎恢复的 7.3 秒恢复时间代表了显著的运营改进,将崩溃的影响从重大事件降级为短暂的小故障。与冷重启相比 39 倍的提升,使得该功能对高可用性部署尤为有价值。