第四十三课：Seg预处理及模型详解

图文教程

当你需要在一张图片中准确的增加物品时，没办法准确的告诉SD如何生成，这时就需要ControlNet功能之一Seg模型

Seg模型

Seg语义分割，Segmentation的完整名称是Semantic Segmentation语义分割，很多时候简称为 Seg

它可以在检测内容轮廓的同时将画面划分为不同区块，并对区块赋予语义标注，从而实现更加精准的控图效果。

观察上图我们可以看到，Seg预处理器检测后的图像包含了不同颜色的板块图，就像现实生活中的区块地图。画面中不同的内容会被赋予相应的颜色，比如地毯被标注为红色、门是绿色、沙发是蓝色等，这样限定区块的方式有点类似局部重绘的效果，在生成图像时模型会在对应色块范围内生成特定对象，从而实现更加准确的内容还原。

针对不同颜色色值表示的含义，我这边已经为大家整理好完整的色值语义标注文档，需要的小伙伴可以在下方获取。

seg颜色对照表链接：点击复制https://pan.baidu.com/s/1IyrcLVg7GFV0_DbPs4r-ow?pwd=ymem

提取码：ymem

Seg预处理器

Seg提供了三种预处理器可供选择：

• OneFormer ADE20k
• OneFormer COCO
• UniFormer ADE20k

UniFormer ADE20k预处理器

对比一下本地预处理器，效果是不是更精准？

教学案例

我们需要将地上的抱枕移除，同时让地毯向电视柜延伸长点，生成赛博朋克风格装饰

1.Seg语义分隔

我们通过在线语义分隔，生成预处理图像，再通过PS将地毯的颜色延伸画出，把地上的抱枕用地板色补充，如下图：

2.ControlNet设置

上传处理好的语义分隔图

启用、完美像素、允许预览打勾

控制类型：Segmentation(语义分割)

预处理器：nono，我们已经在线处理过了，所以不需要选择预处理器

模型：seg

点击中间爆炸按键

2.SD基础设置

大模型：选用真实大模型

正向提示词：masterpiece,ultra-detailed,best quality,HD Quality,realistic,cyberpunk,Fluorescent lights,(neon lights),

反向提示词：lowres,error,cropped,worst quality,low quality,jpeg artifacts,out of frame,watermark,signature,blurry,

采样方式：DPM++ 2M Karrae

迭代步数：25

像素（宽高）：和原图相同比例800*506

到这里整个设置就完成了

直接点击生成

一起看下效果图

 

作业题

拍摄自家的客厅照，通过seg模型转换为赛博朋克风格

参考：教程案例