ControlNet控制
ControlNet让图像生成从"盲盒"变为精确控制。通过边缘、姿态、深度等条件，你可以精确控制生成图像的结构和布局。
预计阅读时间：45分钟·难度：中级
什么是ControlNet
ControlNet是一种为扩散模型添加空间控制条件的技术。它通过额外的神经网络模块，让模型能够理解并遵循特定的结构条件。
核心原理
- 架构设计：复制原UNet的编码器部分作为可训练副本
- 零卷积：用零初始化的卷积层连接原网络和副本
- 保持原有能力：训练时原模型权重冻结，不破坏生成能力
- 条件注入：条件图通过可训练副本处理后注入UNet
为什么ControlNet重要
在没有ControlNet之前，图像生成存在诸多问题：
- 纯文本控制难以精确描述构图
- 图生图容易丢失原图结构
- 无法控制特定姿势、边缘等细节
- 商业应用缺乏可控性
ControlNet解决了这些问题，实现了精确的结构控制，是AI绘画实用化的关键技术。
💡 ControlNet的核心价值
让AI从"随机创作"变为"精确执行"，使图像生成可以成为真正的生产力工具。
ControlNet类型
不同的ControlNet类型适用于不同的控制需求。
边缘控制类
Canny
- • 经典边缘检测算法
- • 精确控制轮廓和边缘
- • 适合：线稿上色、精确轮廓控制
- • 参数：低阈值、高阈值控制边缘检测灵敏度
Lineart
- • 专门针对线稿优化
- • 比Canny更符合人工线稿风格
- • 适合：插画线稿上色
Scribble
- • 涂鸦/草图控制
- • 更自由、更随意的线条
- • 适合：从草图生成完整图像
姿态控制类
OpenPose
- • 检测人体关键点（头、肩、手、腿等）
- • 精确控制人物姿态
- • 支持单人、多人姿态
- • 适合：人物姿势控制、动作参考
DWPose
- • 更精准的姿态检测
- • 更好的手部检测
- • 推荐作为OpenPose的替代
深度与法线类
Depth
- • 从图像提取深度信息
- • 保持空间关系和透视
- • 适合：场景重构、保持空间结构
Normal Map
- • 提取表面法线信息
- • 控制3D物体的表面细节
- • 适合：3D渲染风格、物体细节控制
增强与分割类
Tile
- • 局部细节增强
- • 可大幅提高分辨率和细节
- • 适合：高清放大、细节增强
Segmentation
- • 语义分割图控制
- • 指定不同区域的物体类型
- • 适合：精确的场景布局控制
类型对照表
| 类型 | 控制维度 | 推荐权重 | 典型场景 |
|---|---|---|---|
| Canny | 边缘轮廓 | 0.8-1.0 | 线稿上色 |
| OpenPose | 人物姿态 | 0.7-1.0 | 姿势控制 |
| Depth | 空间深度 | 0.8-1.2 | 场景重构 |
| Tile | 局部细节 | 0.8-1.0 | 高清放大 |
| Lineart | 线条结构 | 0.8-1.0 | 插画上色 |
| Scribble | 草图轮廓 | 0.6-1.0 | 草图生成 |
| IP-Adapter | 风格内容 | 0.5-1.0 | 风格迁移 |
预处理器
预处理器将输入图像转换为ControlNet可理解的条件图。
常用预处理器
| 预处理器 | 用途 | 特点 |
|---|---|---|
| Canny | 边缘检测 | 可调阈值，精确控制 |
| HED | 边缘检测 | 更柔和，适合艺术风格 |
| Midas | 深度估计 | 通用深度图生成 |
| Zoe | 深度估计 | 更精准的深度 |
| OpenPose | 姿态检测 | 标准姿态提取 |
| DWPose | 姿态检测 | 更精准，支持手部 |
| Lineart | 线稿提取 | 动漫线稿优化 |
预处理参数调整
Canny边缘检测参数：
- • 低阈值：默认100，值越低检测到的边缘越多
- • 高阈值：默认200，值越高保留的边缘越少
- • 分辨率：预处理分辨率，512或1024
💡 预处理器选择建议
- • 使用"预览"功能查看预处理效果
- • 不同预处理器可能需要调整ControlNet权重
- • 预处理质量直接影响生成效果
- • 可以手动绘制或编辑条件图
高级用法
多ControlNet组合
同时使用多个ControlNet可以实现更精确的控制：
推荐组合：
- OpenPose + Depth：控制人物姿态同时保持空间深度
- Canny + Tile：保持边缘轮廓同时增强细节
- Lineart + IP-Adapter：线稿上色并参考风格
- Depth + Segmentation：精确控制场景布局和空间关系
建议总权重控制在1.5-2.0以内，避免过度约束
Control Mode
- Balanced：平衡模式，ControlNet与提示词共同作用
- My prompt is more important：优先遵循提示词
- ControlNet is more important：优先遵循ControlNet
IP-Adapter专题
IP-Adapter是特殊的ControlNet，用于风格和内容迁移：
- IP-Adapter Face：精确控制人脸特征
- IP-Adapter Plus：通用版本，效果更好
- 权重控制：0.5-0.7适合风格迁移，0.8-1.0适合内容复制
⚠️ 多ControlNet注意事项
- • ControlNet之间可能存在冲突
- • 显存占用会增加
- • 需要测试最佳权重组合
- • 建议从单一ControlNet开始，逐步添加
实践技巧
常见应用场景
场景1：人物姿势控制
- • 使用OpenPose或DWPose
- • 可以从参考图提取姿态或手动绘制
- • 权重建议0.8-1.0
- • 配合人物相关提示词效果更佳
场景2：线稿上色
- • 使用Lineart或Canny
- • 权重建议0.9-1.0
- • 使用"ControlNet is more important"模式
- • 配合IP-Adapter可以参考特定上色风格
场景3：图像高清放大
- • 使用Tile ControlNet
- • 配合ESRGAN等超分辨率模型
- • 多次迭代放大效果更好
- • 可以添加细节而不改变整体结构
问题排查
⚠️ 常见问题
- Q: ControlNet没有效果？
A: 检查是否启用、权重是否过低、预处理器是否正确 - Q: 图像结构变形？
A: 降低ControlNet权重或更换预处理器 - Q: 显存不足？
A: 使用低分辨率预处理、减少ControlNet数量 - Q: 效果与预期不符？
A: 使用预览功能检查预处理结果是否正确
💡 最佳实践总结
- • 始终先预览预处理效果
- • 从低权重开始调试
- • 单一ControlNet能解决的问题不用多个
- • 根据任务选择最合适的ControlNet类型
- • 善用Control Mode调整优先级
预处理器详解
深入理解各类预处理器的原理和参数，能帮助你更好地控制生成效果。
边缘检测预处理器对比
Canny Edge Detection
- • 原理：多阶段边缘检测算法，通过高斯模糊、梯度计算、非极大值抑制和双阈值检测提取边缘
- • 参数：低阈值（默认100）、高阈值（默认200）
- • 调参技巧：低阈值降低会检测更多边缘，高阈值提高会保留更少的边缘
- • 适用场景：需要精确边缘控制的场景，如建筑、产品轮廓
HED (Holistically-Nested Edge Detection)
- • 原理：深度学习边缘检测，产生更自然、连续的边缘线
- • 特点：边缘更柔和，适合艺术风格
- • 适用场景：插画、艺术风格的边缘控制
Lineart Models
- • Lineart Standard：标准线稿提取，适合一般线稿
- • Lineart Anime：动漫线稿优化，对动漫风格效果更好
- • Lineart Coarse：粗糙线稿，保留更多细节
- • 适用场景：插画上色、漫画填色
深度估计预处理器
MiDaS (Model in the Dark Architecture)
- • 原理：基于深度学习的单目深度估计
- • 特点：通用性好，适合大多数场景
- • 输出：灰度图，亮度代表深度（近亮远暗或近暗远亮）
Zoe Depth
- • 特点：比MiDaS更精准，尤其对人物和物体
- • 优势：更好的边缘处理，更准确的深度关系
- • 推荐：作为Depth ControlNet的首选预处理器
LeReS (Learning to Regress for Depth)
- • 特点：更注重相对深度关系
- • 适用场景：室内场景、复杂空间关系
姿态检测预处理器
OpenPose Family
- • OpenPose：标准版本，检测18个人体关键点
- • OpenPose Face：额外检测面部特征点（70点）
- • OpenPose Hand：额外检测手部关键点（21点/手）
- • OpenPose Full：包含身体、面部、手部的完整检测
DWPose
- • 优势：更精准的姿态检测，尤其对手部和细节
- • 关键点数量：135个关键点
- • 推荐：替代OpenPose作为首选姿态检测器
💡 预处理器选择指南
- • 边缘控制：线稿上色用Lineart，一般边缘用Canny，艺术风格用HED
- • 深度控制：优先Zoe Depth，通用场景用MiDaS
- • 姿态控制：优先DWPose，需要面部细节时用OpenPose Full
- • 始终预览：使用前一定要预览预处理效果，确保符合预期
高级工作流程
掌握复杂场景下的ControlNet组合和工作流设计。
ControlNet权重策略
权重设置原则：
- 单一ControlNet：从0.7开始测试，逐步调整
- 主要控制：作为主要控制的ControlNet设置较高权重（0.8-1.0）
- 辅助控制：辅助性质的ControlNet设置较低权重（0.4-0.6）
- 总权重控制：多ControlNet组合时，总权重建议不超过2.0
经典工作流案例
案例1：角色设计工作流
- 使用OpenPose控制角色姿态
- 使用Canny控制服装轮廓
- 使用IP-Adapter Face控制面部特征
- 权重建议：OpenPose 0.9 + Canny 0.7 + IP-Adapter 0.6
案例2：场景重构工作流
- 使用Depth保持空间关系
- 使用Seg控制区域划分
- 使用Canny保持建筑轮廓
- 权重建议：Depth 1.0 + Seg 0.8 + Canny 0.6
案例3：高清放大工作流
- 生成初始图像
- 使用Tile ControlNet进行放大
- 配合Hires.fix迭代提升
- 参数建议：Tile权重0.8-1.0，重绘幅度0.3-0.5
ControlNet与LoRA协同
组合使用技巧：
- 风格LoRA + 结构ControlNet：用ControlNet控制结构，LoRA控制风格
- 角色LoRA + 姿态ControlNet：确保角色一致性的同时控制姿态
- 权重平衡：LoRA和ControlNet权重需要平衡，避免冲突
- 测试流程：先单独测试ControlNet效果，再加入LoRA
⚠️ 高级使用注意事项
- • 多ControlNet会显著增加显存占用
- • 预处理器质量和ControlNet效果直接相关
- • 不同基础模型可能需要调整ControlNet权重
- • 某些ControlNet组合可能存在冲突，需要实验验证
上一篇
← LoRA微调