MT-Color— 上海交大联合哔哩哔哩推出的可控图像着色框架

MT-Color是什么

mt-color是由上海交通大学与哔哩哔哩共同研发的一种基于扩散模型的可控图像着色系统，它允许用户借助实例导向的文本提示和掩码来实现精准的实例级别图像着色。该框架采用了像素级掩码注意机制以避免色彩渗入现象的发生，并结合实例掩码和文本指导模块来纠正色彩分配错误的问题，同时利用多实例采样策略加强实例感知能力。mt-color还创建了一个名为gpt-color的数据集，其中包含高质量的实例级标注信息，从而助力于更为细致的图像着色任务。相较于同类产品，mt-color在色彩准确性及视觉品质方面表现得更加优异，生成的作品更能契合人类的视觉认知习惯。

MT-Color的核心特性

• 精准的实例级上色：依据用户的实例掩码和文字说明，针对图片里的各个物体执行精准的着色操作，保证每种物体的颜色与其描述相符。
• 抑制色彩外泄：运用像素级掩码注意机制，有效地阻止了色彩在不同物体间的非正常传播，维持了颜色边界的分明。
• 高品质的颜色产出：生成的彩色图片色彩鲜艳、真实，且具有较高的分辨率（512×512），细节部分也更加鲜明。
• 灵活的用户操控：让用户能够通过文字描述和掩码对图像着色流程进行精细化管理，适应各种着色要求。
• 数据集支撑：构建专用的GPT-Color数据集，提供高水平的实例级注解，支持更复杂的图像着色工作。

MT-Color的技术架构

• 像素级掩码注意技术：通过ControlNet提取灰度图像特征并与Stable Diffusion的潜在特征借助像素级交叉注意机制对齐，防止不同实例间的像素数据交互，缓解色彩渗漏情况。利用分割掩码构造交叉注意掩码，确保像素数据在不同实例之间不会互相干扰。
• 实例掩码和文本指引组件：提取每个实例的掩码和文本表达，并与潜在特征依照自注意机制整合，基于实例掩码生成自注意掩码，避免实例文本影响其他区域的着色，降低色彩绑定错误率。
• 多实例取样方案：在取样阶段，对每个实例区域单独取样后融合结果，进一步提升实例感知的着色成效。
• GPT-Color数据集：借助预训练的视觉语言模型（例如GPT-4和BLIP-2）在现有图像数据集基础上自动创建高质量的实例级注解，涵盖精细的文字描述和相应的分割掩码，为模型训练供应丰富的训练素材。

MT-Color的官方链接

• arXiv技术文档：https://www.php.cn/link/649e7bd4fa544f1d97cc28aeab64cdc5

MT-Color的实际应用

• 老照片复原：为黑白的老照片增添生动的色彩，增加其观赏性与历史价值。
• 电影后期加工：修复和改善黑白或者低质彩色片段的画面，优化视觉效果。
• 艺术设计：协助艺术家为黑白草图或插画添彩，激发创造力。
• 医疗影像分析：为医学影像配色，提高诊断效能。
• 教育资料制作：为教学材料中的黑白图像加色，提升学习趣味性。