XNews

APXInf: オープンソースの具現化推論エンジンがレイテンシを10.7倍削減

APXInf: オープンソースの具現化推論エンジンがレイテンシを10.7倍削減

GitHub_Dailyは、無問芯穹、清華大学、上海交通大学によるオープンソースの具現化エンドサイド推論エンジン「APXInf」を発表した。Jetson ThorとPI 0.5を組み合わせた場合、反応時間が278ミリ秒から26ミリ秒未満に短縮され(10.7倍高速化)。RTX 4090およびJetson Orin/Thor上でPI 0.5およびWALL-OSSモデルをサポートする。

Source posts