视频教程
图文教学
IPAdapter可以根据加载的素材图片，参考图片的配色、色调、画风、画中的事物
创建出新图片，使画中事物仍然和原图的相似性
这在很多时候比我们通过提示词描述一张照片要靠谱多了
比如：在我不填写任何正面提示词的情况下，通过IPAdapter就可以生成和原图非常相似的图片
有聪明的同学可能发现这和图生图有什么区别
他们完全不是一回事
图生图的原理是通过将参考的图片变模糊然后采样去噪的过程
而IPAdapter是通过CLIP视觉获得参考图像的信息，变成相当于提示词部分进行绘制图片
IPAdapter主要节点
1.【IP适配应用】
通过大模型、CLIP视觉模型和IP适配模型提取参考图片的信息通过模型交给采样器采样
输入：
- IP适配：输入预训练的模型，通常可以接入【IP适配模型加载器】
- CLIP视觉：输入CLIP视觉模型，通常可以接入【CLIP视觉加载器】
- 图像：我们的参考图像
- 模型：加载我们大模型，通常接入【Checkpoint加载器(简易)】
输出模型，通常接【K采样器】
组件：
- 权重：值-1~3，决定参考图像的权重，值越大权重越高，和参考图越相似，通常将权重值降低到0.8有不错的效果
- 噪波增强：相当于将参考图像+一个噪波图，数值越大噪波图的噪点越多，提取到的参考图像信息越少，噪波参数是IPAdapter模型的实验开发，可以将其设置为低至0.01，这样可以获得更好的结果
- 权重类型：可以选择IPAdapter权重应用于图像嵌入的方式
original：权重应用于聚合张量，对于不等于1的值，权重可起预测作用
线性：在对单个张量进行聚合之前，将权重应用于它们，与“original”相比，当权重＜1时，影响较弱，当权重＞1时，则影响较强，注：权重为1时，两种方法等效
channel penalty：此方法是Fooocus的修改版本，结果有时更鲜明，当权重>1时，它也能很好地工作，仍处于试验阶段，未来可能会发生变化
- 开始应用位置/结束应用位置：可以设置起点和终点，IPAdapter将仅在该生成时间段内应用，这是一个非常强大的工具来调节IPAdapter模型的智能性
2.【IP适配模型加载器】
【IP适配模型加载器】用于加载预训练模型
SD1.5预训练模型：
- ip-adapter_sd15
- ip-adapter_sd15_light：当文本提示比参考图像更重要时使用此选项
- ip-adapter-plus_sd15：比ip-adapter_sd15更接近参考图
- ip-adapter-plus-face_sd15：提取面部详细信息
- ip-adapter-full-face_sd15：提取头部详细信息
- ip-adapter_sd15_vit-G：该模型可以使用SD1.5视觉模型和SDXL视觉模型
SDXL预训练模型：
- ip-adapter_sdxl
- ip-adapter_sdxl_vit-h.bin ：尽管该模型用于SDXL大模型，但仍需要使用SD1.5视觉模型
- ip-adapter-plus_sdxl_vit-h：和上面一样，需要使用SD1.5视觉模型
- ip-adapter-plus-face_sdxl_vit-h：和上面一样，需要使用SD1.5视觉模型
- 所有VIT-H预训练模型都需要使用SD1.5视觉模型，只有VIT-G可以使用SDXL和SD1.5视觉模型
3.【CLIP视觉加载器】
【CLIP视觉加载器】加载图像编辑器模型
- SD 1.5模型（也适用于以vit-h结尾的所有预训练模型）
- SDXL模型
4.【CLIP视觉图像处理】
IPAdapter在处理图片的时候会将图片裁剪成正方形图片进行绘制
所以我们在选择参考图的时候尽量使用正方形图片
如果是其他尺寸的图像就可以使用【CLIP视觉图像处理】
【CLIP视觉图像处理】自动将图像处理成正方形
并提供了几种裁剪位置：
- 上：裁剪参考图上部分内容（一般用于竖图）
- 下：裁剪参考图下部分内容（一般用于竖图）
- 左：裁剪参考图左边部分内容（一般用于横图）
- 右：裁剪参考图右边部分内容（一般用于横图）
- 中心：从图片中心位置裁剪周围多余部分
- 拉伸：不裁剪，直接拉伸图片成正方形，容易变形一般不建议使用
所有IPAdapter节点新建位置：“新建节点”-->“IP适配”-->需要的节点
峰上智行-您AI学习路上的指引者！
评论