NVIDIA发布TensorRT Model Connect公开预览版,实现两条命令推理

NVIDIA发布了TensorRT Model Connect的公开预览版。借助该工具,一个受支持的Hugging Face模型仅需两条命令即可运行端到端的TensorRT推理,无需中间ONNX导出,生成的捆绑包可通过原生C++ API运行。该项目由OpenAI Codex智能体构建,人类负责指导和审查模型实现、性能调优、测试、集成及文档。该项目已开源。

NVIDIA发布了TensorRT Model Connect的公开预览版。借助该工具,一个受支持的Hugging Face模型仅需两条命令即可运行端到端的TensorRT推理,无需中间ONNX导出,生成的捆绑包可通过原生C++ API运行。该项目由OpenAI Codex智能体构建,人类负责指导和审查模型实现、性能调优、测试、集成及文档。该项目已开源。