多参考身份控制的图像编辑

Qwen-Image-2.1是一个拥有70亿参数的开源模型,融合了图像生成、编辑以及原生透明通道支持。它可处理多达10张参考图像,实现高保真的身份保持编辑;采用64通道RGBA自编码器实现原生透明效果;并提供vLLM部署,支持CUDA Graph、FP8量化以及包括AMD ROCm在内的多芯片平台。
Key insights
原生RGBA透明生成
Qwen-Image-2.1可直接根据文本生成包含alpha通道的RGBA图层,在透明图像中编辑文字,并从照片中提取主体。64通道自编码器在潜在空间中原生携带透明度,而非后处理,取代了此前电商素材、贴纸设计和合成工作流所需的多模型管线。
最多10张参考图像的身份控制
该模型支持最多10张参考图像的高保真编辑,在开源模型中处于最高水平。三种局部控制方法包括圆形标注、涂鸦标记和独立蒙版。人像和产品的身份保持能力直接与GPT-Image系列等闭源编辑服务竞争。
单流DiT统一生成与编辑
Qwen-Image-2.1将此前分离的文本到图像模型与编辑模型整合为一个32层Transformer。块因果注意力机制对文本令牌采用因果掩码,对图像块采用双向掩码。与之前的双模型方案相比,这种统一架构降低了训练和部署成本。
前缀KV缓存加速多图像编辑
条件图像和文本仅在第一步去噪时计算一次,后续39步复用缓存值。这是多参考编辑场景下主要的推理加速手段。部署选项包括CUDA Graph、FP8量化、TP/Ulysses并行,以及支持包括AMD ROCm在内的8种芯片平台。
2K分辨率与多种宽高比
该模型在原生2K分辨率(2048x2048)下运行40步默认推理,支持包括16:9在内的七种常见宽高比。文本渲染和人像光照是Qwen-Image系列延续的定性优势,尤其在中文字体渲染方面。