ICEdit— 浙江大学联合哈佛大学推出的指令式图像编辑框架

icedit（in-context edit）是浙江大学和哈佛大学共同推出的一个基于指令的图像编辑框架。通过利用大规模扩散变换器（diffusion transformer）的强大生成和上下文感知能力，icedit可以使用自然语言指令对图像进行精确编辑。该框架仅需0.1%的训练数据和1%的可训练参数，显著降低了资源需求，并且在多轮和多任务编辑中表现出色。icedit具有开源、低成本和快速处理（单张图像约9秒）的特点，适用于各种应用场景。

ICEdit的主要功能包括：

• 指令驱动的图像编辑：通过自然语言指令对图像进行精确修改，如更换背景、添加文字、改变人物服装等。
• 多轮编辑：支持连续多次编辑，每次编辑基于前一次的结果，适合复杂的创作需求。
• 风格转换：将图像转换为不同的艺术风格，如水彩画、漫画等。
• 对象替换与添加：替换图像中的对象或添加新元素，如将人物替换为卡通角色。
• 高效处理：处理速度快（单张图像约9秒），适合快速生成和迭代。

ICEdit的技术原理基于：

• 上下文编辑框架（In-Context Editing Framework）：通过“上下文提示”（In-Context Prompting），将编辑指令嵌入到生成提示中，模型基于处理提示生成编辑后的图像，无需对模型架构进行修改，避免传统方法中的复杂结构调整。基于上下文理解，模型直接生成符合指令的编辑结果。
• LoRA-MoE混合微调策略（LoRA-MoE Hybrid Fine-Tuning）：结合参数高效的LoRA（Low-Rank Adaptation）适配器和动态专家路由（Mixture-of-Experts, MoE）。LoRA通过低秩矩阵分解，高效地调整模型参数，适应不同的编辑任务。MoE通过动态选择最适合当前任务的专家模块，进一步提升编辑质量和灵活性。仅需少量数据（50K样本）进行微调，显著提高编辑成功率。
• 推理时早期筛选策略（Early Filter Inference-Time Scaling）：在推理阶段，基于视觉语言模型（VLM）评估早期生成的噪声样本，筛选出最符合编辑指令的初始噪声。用少量步骤（如4步）评估编辑效果，快速选择最优的初始噪声，进一步提高编辑质量。

ICEdit的项目地址包括：

• 项目官网：https://www.php.cn/link/2338fea343be1e96d7bd8892726b13fc
• GitHub仓库：https://www.php.cn/link/c7cca85fb808ff22d4196d92a56b94a0
• HuggingFace模型库：https://www.php.cn/link/47aad7688350fbfd9a9109e8ee88f0f4
• arXiv技术论文：https://www.php.cn/link/a5e5bc0af001017b93172009d7a32b68
• 在线体验Demo：https://www.php.cn/link/9786d91e129d1c16bbed55aaa2445c78

ICEdit的应用场景涵盖：

• 创意设计：将照片转为艺术风格（如水彩画），或添加创意元素，用于设计和广告。
• 影视制作：快速生成角色设计或场景概念图，辅助影视前期开发。
• 社交媒体：编辑个人照片（如换背景、加特效），制作吸引人的社交内容。
• 教育领域：生成教学用图，如将历史人物转为漫画风格，辅助教学。
• 商业广告：快速制作产品宣传图，如更换背景、添加品牌标志。