NVIDIA、TensorRT Model Connectのパブリックプレビューを公開——2つのコマンドで推論を実現

NVIDIAはTensorRT Model Connectをパブリックプレビューとしてリリースした。対応するHugging Faceモデルは、中間のONNXエクスポートを介さずに、2つのコマンドでエンドツーエンドのTensorRT推論を実行でき、生成されたバンドルはネイティブC++ APIを通じて動作する。本プロジェクトはOpenAI Codexエージェントを用いて構築され、人間がモデル実装、パフォーマンスチューニング、テスト、統合、ドキュメントの指示とレビューを行った。オープンソースとして提供される。