ControlNet 本地模型运行教程：模型下载、路径设置与性能优化指南

ControlNet适合解决什么问题

ControlNet是AI绘画工作流中常用的控制插件，它可以把线稿、姿态、深度图、边缘图、分割图等信息转化为生成约束，让画面不再只依赖文字提示词。对于需要保持人物动作、产品轮廓、室内结构、漫画分镜或电商构图的用户，本地运行ControlNet能提供更高的可控性，也便于与已有的Stable Diffusion模型、LoRA和自定义工作流配合使用。

本地部署的核心思路并不复杂：先确保绘画主程序可正常运行，再安装ControlNet插件，随后下载对应模型文件并放到指定目录，最后根据显卡能力调整分辨率、批量数量和精度选项。难点通常出在模型版本不匹配、路径层级放错、预处理器缺失、显存不足和插件版本过旧。下面按实际安装顺序说明。

安装前准备与环境检查

开始前建议先确认三件事。第一，Stable Diffusion WebUI或同类本地绘画框架能够正常启动并完成一次出图；第二，显卡驱动和计算组件版本不要过旧，至少要能稳定运行基础文生图；第三，磁盘预留足够空间，ControlNet常用模型单个文件可能达到数百MB到数GB，多模型同时使用时会占用更多空间。

硬件方面，8GB显存可以运行大多数单ControlNet任务，但分辨率和批量数量要保守；12GB及以上显存体验更稳定，可以尝试更高分辨率或多控制单元。内存建议16GB起步，若同时加载大模型、高清修复和多个插件，32GB会更从容。机械硬盘也能用，但模型读取速度较慢，建议把主程序和模型目录放在固态硬盘中。

插件安装步骤

以常见WebUI为例，进入扩展管理页面，选择从扩展列表安装或通过插件地址安装ControlNet。安装完成后重启WebUI，进入文生图或图生图页面，若能看到ControlNet折叠面板，说明插件主体已加载成功。如果没有显示，优先检查扩展是否启用、是否重启、控制台是否出现依赖缺失提示。

如果使用离线环境，可以把插件文件夹手动放入WebUI的extensions目录中，目录名建议保持清晰，例如sd-webui-controlnet。放置后重启主程序。注意不要把插件文件夹套两层，例如extensions/sd-webui-controlnet/sd-webui-controlnet，这种层级错误会导致程序无法识别。

模型下载与选择思路

ControlNet模型需要与底模体系匹配。使用SD 1.5类底模时，应下载适配SD 1.5的ControlNet模型；使用SDXL类底模时，应下载适配SDXL的版本。两者不可随意混用，混用常见表现是效果失控、报错或占用异常。下载来源应选择模型作者页面、插件项目说明中列出的来源或可信模型社区，避免使用来源不明的压缩包。

常见模型包括Canny边缘控制、OpenPose姿态控制、Depth深度控制、Lineart线稿控制、Scribble涂鸦控制、Tile细节增强、SoftEdge柔边控制、Seg分区控制等。新手建议先下载Canny、OpenPose和Depth三类，覆盖构图、人物姿态和空间结构三种高频需求。等流程熟悉后，再根据设计、插画、建筑或产品图场景补充其他模型。

下载时会看到不同格式文件，例如.safetensors、.pth、.yaml等。优先选择.safetensors格式，它加载更规范，也便于管理。部分模型需要搭配配置文件，下载页面若明确说明需要配置文件，应一并保存。文件名可以保留原名，便于插件自动识别；不建议随意改成中文名或加入特殊符号，以免路径解析出错。

模型路径设置方法

WebUI版ControlNet的默认模型目录通常位于extensions/sd-webui-controlnet/models。把下载好的模型文件放入该目录后，重启WebUI，或在ControlNet面板中点击刷新模型列表。刷新后在Model下拉菜单中能看到对应模型，即表示路径基本正确。

如果希望把模型集中放在其他磁盘，可以在插件设置里指定ControlNet模型目录。设置时建议使用完整路径，例如D:/AIModels/ControlNet，避免使用临时目录或含有复杂符号的路径。修改后保存设置并重启。若模型列表仍为空，检查路径末尾是否多写了文件名、目录是否有读取权限、模型是否被压缩包包住、文件后缀是否完整。

很多用户会把预处理器和模型混淆。预处理器负责从输入图中提取边缘、姿态或深度信息，模型负责把这些控制信息用于生成。两者需要配套使用，例如Canny预处理器搭配Canny模型，OpenPose预处理器搭配OpenPose模型。虽然某些组合也能出图，但结果通常不稳定，新手不建议随意混搭。

基础使用流程

打开文生图或图生图页面，展开ControlNet面板，勾选启用。上传一张参考图，选择预处理器和对应模型，再设置控制权重、起止步数和控制模式。第一次测试建议使用512×512或768×768分辨率，批量数量设为1，先确认流程跑通，再逐步提高质量参数。

控制权重一般从0.7到1.0开始尝试。权重过低，参考图约束不明显；权重过高，画面可能僵硬或细节受限。起止步数决定控制在采样过程中的作用区间，例如从0到1表示全程控制，从0到0.7表示后期让模型自由发挥更多。人物姿态类任务通常可保持较高控制，风格化插画则可以适当降低权重。

控制模式常见选项包括更偏提示词、更偏控制图或均衡模式。需要严格保持构图时，选择偏控制图；需要保留创意空间时，选择均衡或偏提示词。对于产品轮廓、建筑线稿、角色动作复刻等任务，建议先用偏控制图获得稳定结构，再通过提示词、LoRA和局部重绘优化质感。

性能优化设置

显存不足是本地运行最常见的瓶颈。优化顺序建议从降低分辨率开始，再降低批量数量，最后减少同时启用的ControlNet单元。不要一开始就叠加多个控制模型、高分辨率修复和大尺寸输出，这会显著增加占用。测试阶段先用小图确认构图，最终出图再放大或二次处理。

在WebUI设置中，可以开启半精度相关选项，并使用适合显卡的注意力优化方案。不同设备适配效果不同，若开启某项优化后出现黑图、闪退或速度反而下降，应恢复默认并逐项排查。不要一次性修改大量启动参数，否则很难判断问题来源。

模型管理也会影响体验。常用的ControlNet模型保留在本地模型目录，较少使用的模型可以移到备份目录，减少列表混乱。多次切换大模型时，程序可能残留显存占用，出现速度变慢或报错时，重启WebUI往往比反复点击生成更有效。若使用笔记本电脑，建议接入电源并选择高性能模式，避免降频导致耗时明显增加。

常见问题排查

问题一：模型列表为空。优先检查模型是否放在extensions/sd-webui-controlnet/models目录，或者自定义目录是否设置正确；确认文件不是压缩包，后缀没有被系统隐藏；修改路径后记得刷新或重启。

问题二：提示预处理器不可用。通常是插件依赖未完整安装，或插件版本与主程序版本不兼容。可先更新ControlNet插件，再重启主程序；如果仍失败，查看启动窗口中的缺失模块提示，并按插件说明补齐依赖。

问题三：出图结构完全不听控制。检查是否勾选启用、预处理器与模型是否配套、控制权重是否过低、参考图是否清晰。边缘控制需要轮廓明确，姿态控制需要人物关节点可识别，深度控制更适合空间层次明显的图片。

问题四：显存报错或程序中断。降低宽高、关闭高清修复、批量数量设为1、只启用一个ControlNet单元。仍不稳定时，尝试更轻量的底模或减少其他插件占用。生成大图建议分阶段处理，不要把所有增强功能堆在一次任务里。

安全边界与实用建议

本地模型虽然运行在个人设备上，但仍应重视文件来源。不要加载来源不明的模型、脚本或整合包；下载后保留原始页面信息，便于版本追踪。涉及商业设计时，应确认底模、插件和素材的授权范围，避免把无授权素材直接用于公开项目。

参考图的使用也要谨慎。用于学习和内部测试问题不大，但公开发布或交付时，应尽量使用自有素材、授权素材或可明确使用的素材。ControlNet擅长保持结构，这也意味着它可能较大程度保留原图构图特征，商业场景中需要特别注意素材合规。

最后给新手一个稳定配置思路：先安装一个可靠的WebUI环境，只下载SD 1.5或SDXL其中一套ControlNet模型，不要混装太多版本；先掌握Canny、OpenPose、Depth三种控制方式；每次只改一个参数并记录效果。等基本流程稳定后，再扩展多ControlNet、局部重绘、高清修复和风格模型组合。这样既能减少报错，也能更快找到适合自己项目的本地AI绘画工作流。