跨平台采用代理技能机制

新增技能机制:模块化、非上下文消耗能力。 • ChatGPT 增加了对 Anthropic 风格的“技能”的支持 • 内置技能包括 Excel、Word、PDF • 技能是包含 Markdown 文档和资源的文件夹 • 技能不消耗上下文窗口令牌 • 技能可以通过关键词调用并进行组合 • Codex CLI 和代码解释器在内部使用技能 • PDF/doc 页面转换为 PNG 以供视觉输入 • ChatGPT 可以根据请求将技能路径打包为 zip
Key insights
ChatGPT 集成代理“技能”以处理文件任务
ChatGPT 安静地增加了受 Anthropic 启发的代理技能支持,为 Excel、Word 和 PDF 处理提供了内置技能,并能够将技能打包为包含 Markdown 文档和可选资源的文件夹。技能不消耗模型的上下文窗口,并可以通过关键词调用,从而实现可组合、可共享的能力模块。
实施细节:PDF 页面转换为 PNG 以供视觉模型使用
ChatGPT 当前的 PDF/doc 处理将每一页转换为 PNG 图像,然后发送到具备视觉能力的 GPT 模型,以保留布局和图表,而纯文本提取会丢失这些信息。代码解释器/Codex CLI 在某些流程中已经使用了技能,并可以根据请求将技能目录打包为 zip。