XNews

SIE开源推理引擎将嵌入、重排序、OCR和安全模型统一到一个API中

SIE开源推理引擎将嵌入、重排序、OCR和安全模型统一到一个API中

SIE是一个开源推理引擎,将所有模型任务统一到单个集群中,通过一个API提供服务。它与OpenAI接口兼容,几乎无需修改代码,内置超过100个开源模型,可按需加载并自动释放GPU内存。涵盖五大任务类别:搜索检索、文档转Markdown、结构化输出、内容安全审核和智能体推理,每个类别预配置了多个可替换模型。它与LangChain、LlamaIndex、CrewAI和向量数据库集成,并提供Kubernetes部署配置,包括负载均衡、自动扩展和监控仪表板。

Source posts