XNews

提示工程与图像生成工具的使用

提示工程与图像生成工具的使用

提示工程阐明了图像工具的行为。

Key insights

'创建图像'选项改变工具调用行为

'创建图像'选项在像双子和ChatGPT这样的应用中改变了聊天应用指示大型语言模型(LLM)行为的方式:当选中时,它有效地添加了一个系统级指令,使模型默认调用图像生成工具(例如,'纳米香蕉专业版')。当未选中时,LLM仍然知道图像工具的存在,并可能根据上下文提示调用它们。用户报告称,选中该选项会强制模型将用户输入视为图像生成请求,而模糊的指令即使在选中切换时也可能阻止图像创建。

聊天应用将LLM API封装为可调用工具

聊天应用作为LLM API的封装实现,并向模型声明可用工具(搜索、图像、视频、研究)。LLM API本身仅接受图像和文本,并返回文本,因此应用通过告知模型可以调用哪些工具来暴露额外的功能。这种封装方法解释了为什么应用可以执行单纯的LLM API调用无法实现的操作(搜索、绘图)。

模块化'门户×动漫'提示模板用于跨界场景

分享了一种完全模块化的提示模板,用于创建'现实世界×门户×动漫角色'的跨界场景。该模板定义了一个椭圆形门户,对比现实世界和内部门户场景,一个角色手握观众的手走过,摄像机角度(第三人称),无模糊,纵横比2:3。模板包括变量占位符(现实世界场景、门户内部场景、门户内部角色、艺术风格)和示例值,如冬季东京街道和穿着半盔甲外骨骼的赛博女孩。

保持面部一致性的两步工作流程

推荐的面部一致性方法使用两步流程:首先生成一张干净的高清肖像,去除背景(如有需要可多角度),作为参考;其次,使用该参考图像指导后续渲染。作者推荐使用具备一致性能力的模型,如'纳米香蕉专业版'或'即梦',并建议在模型能力或参考难度成为问题时切换到卡通或3D风格。

用户指令的模糊性影响工具选择

当系统被指示默认进行图像创建时,模糊的用户指令仍可能导致模型执行非图像任务(例如,翻译文本)。提供了一个测试提示,以比较系统初始化行为,并观察模型是否默认使用绘图工具或其他功能,强调了在涉及切换或系统指令时明确提示结构的重要性。

Source posts