XNews

SIEのオープンソース推論エンジン、埋め込み・再ランキング・OCR・安全性モデルを1つのAPIに統合

SIEのオープンソース推論エンジン、埋め込み・再ランキング・OCR・安全性モデルを1つのAPIに統合

SIEは、すべてのモデルタスクを単一のクラスターに統合し、1つのAPIで提供するオープンソースの推論エンジンです。OpenAIインターフェースと互換性があり、コード変更はほぼ不要で、100以上の組み込みオープンソースモデルをオンデマンドでロードし、GPUメモリを自動解放します。検索検索、ドキュメントからMarkdownへの変換、構造化出力、コンテンツ安全モデレーション、エージェント推論の5つのタスクカテゴリをカバーし、各カテゴリには複数の交換可能なモデルが事前設定されています。LangChain、LlamaIndex、CrewAI、ベクトルデータベースと統合し、Kubernetesデプロイ構成(負荷分散、自動スケーリング、モニタリングダッシュボード)を含みます。

Source posts