第四十四课:OpenPose预处理及模型详解

目录

图文版教程

OpenPose模型

OpenPose算法通过姿势识别,提取关键点信息,从而达到精准控制人体动作。除了生成单人的姿势,它还可以生成多人的姿势,此外还有手部骨骼模型,解决手部绘图不精准问题,另外还有面部识别,可以更精准的控制人物面部表情。

第四十四课:OpenPose预处理及模型详解

OpenPose预处理器

OpenPose算法一共有六种预处理器分别是:

  • OpenPose
  • OpenPose_face
  • OpenPose_faceonly
  • OpenPose_full
  • openpose_hand
  • dw_openpose_full

1.OpenPose

OpenPose预处理器是OpenPose算法中最基础的处理器,能够识别图像中人物的整体骨架,效果如下图所示:

第四十四课:OpenPose预处理及模型详解

2.OpenPose_face

OpenPose_face预处理器是OpenPose预处理器的基础上增加脸部关键点的检测与标识,效果如下所示:

第四十四课:OpenPose预处理及模型详解

3.OpenPose_faceonly

OpenPose_faceonly预处理器仅检测脸部的关键点信息,如果我们想要固定脸部,改变其他部位的特征的话,可以使用此预处理器,效果如下图所示:

第四十四课:OpenPose预处理及模型详解

4.Openpose_hand

openpose_hand预处理器能够识别图像中人物的整体骨架+手部关键点,效果如下所示:

第四十四课:OpenPose预处理及模型详解

5.OpenPose_full

openpose_full预处理器能够识别图像中人物的整体骨架+脸部关键点+手部关键点,是一个非常全面的预处理器,其效果如下所示:

第四十四课:OpenPose预处理及模型详解

6.dw_openpose_full

dw_openpose_full预处理器是目前OpenPose算法中最强的预处理器,使用了传统深度学习中的王牌检测模型yolox_l作为人体关键点的检测base,其不但能够人物的整体骨架+脸部关键点+手部关键点,而且精细程度也比openpose_full预处理器更好,其效果如下图所示:

第四十四课:OpenPose预处理及模型详解

我们还可以直接使用制作好的骨架图进行姿势控制,大家有需要可以直接下面下载,有上千套成熟的骨架图,这里我也分享给大家使用:

第四十四课:OpenPose预处理及模型详解

输入密码查看隐藏内容

OpenPose编辑器

如果我们从图像中提取的骨架图不满意,我们可以借助OpenPose编辑器插件进行编辑修改

OpenPose编辑器安装

打开“扩展”-->“可下载”-->“加载扩展列表页”-->搜索“OpenPose”-->找到OpenPose编辑器,直接安装就可以了

第四十四课:OpenPose预处理及模型详解

安装好后记得到“已下载”-->"应用更改并重启"

OpenPose编辑器使用方法

第四十四课:OpenPose预处理及模型详解

菜单栏点开“OpenPose编辑器

“从图像中提取”选择我们需要读取的图像,等待一会会自动帮我们设别出骨架图,注意这个插件只能识别人物的整体骨架,无法识别手部和面部

然后可以在识别出的骨架各个关键圆点进行调整,直到自己满意为止。

另外还可以单独自己创建一个新的骨架

第四十四课:OpenPose预处理及模型详解

点击添加按键,就可以在右侧给我们增加一个全新的骨架图,然后自己去调整姿势。这里的宽高就是整个图片背景的像素

如果确定调整好骨架图后我们就可以直接把骨架图发送到文生图或图生图的controlnet底图中了,或者也可以直接保存该骨架的图片或信息,留着下次再用

第四十四课:OpenPose预处理及模型详解

最下面“发送到”后面是可选controlnet的哪个计划里作为底图

第四十四课:OpenPose预处理及模型详解

如果需要更精细的骨架图修改和编辑,我们还可以借助“3D OpenPose”插件,详细教程可参阅插件篇:3D OpenPose人体骨架精细化修改

教学案例一:控制身体姿势

1.controlnet设置

第四十四课:OpenPose预处理及模型详解

上传我们需要控制的姿势图

启用、完美像素模式、允许预览打勾

第四十四课:OpenPose预处理及模型详解

控制类型:OpenPose

预处理器:openpose,这里只会提取身体姿势,而不会提取面部和手部的信息

模型:openpose

2.SD基本设置

大模型选择

第四十四课:OpenPose预处理及模型详解

正向提示词:masterpiece,best quality,official art,extremely detailed,8k wallpaper,CG rendering,1girl,simple background,

反向提示词:(((simple background))),monochrome,lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,username,bad anatomy,cropped,worst quality,low quality,normal quality,signature,watermark,blurry,ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual,hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions,(((missing arms))),(((missing legs))),(((extra arms))),(((extra legs))),pubic hair,plump,bad legs,error legs,bad feet,

第四十四课:OpenPose预处理及模型详解

所有参数都设置好后就可以生成了

第四十四课:OpenPose预处理及模型详解

教学案例二:控制人物表情

openpose除了控制人物的姿势,还可以控制人物的表情但是用controlnet复刻人物表情比较适合放特写的大头照

这样识别出来的五官才会更加精确,相对应的也只能生成出来大头照

1.controlnet设置

第四十四课:OpenPose预处理及模型详解

上传我们需要控制的表情图

启用、完美像素模式、允许预览打勾

第四十四课:OpenPose预处理及模型详解

控制类型:OpenPose

预处理器:openpose_faceonly,这里只会提取人物面部信息

模型:openpose

2.SD基本设置

大模型选择

第四十四课:OpenPose预处理及模型详解

正向提示词:masterpiece,best quality,official art,extremely detailed,8k wallpaper,CG rendering,1girl,

反向提示词:(((simple background))),monochrome,lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg artifacts,username,bad anatomy,cropped,worst quality,low quality,normal quality,signature,watermark,blurry,ugly,pregnant,vore,duplicate,morbid,mut ilated,tran nsexual,hermaphrodite,long neck,mutated hands,poorly drawn hands,poorly drawn face,mutation,deformed,bad anatomy,bad proportions,malformed limbs,extra limbs,cloned face,disfigured,gross proportions,(((missing arms))),(((missing legs))),(((extra arms))),(((extra legs))),pubic hair,plump,bad legs,error legs,bad feet,

其他参数参考案例一,注意像素和底图比例一致就行

所有参数都设置好后就可以生成了

第四十四课:OpenPose预处理及模型详解

看看生成出来的照片,脸型和五官在一定程度上都还原了

作业题

自拍一张大头贴,表情大笑,通过ControlNet生成一张同表情和脸型的AI人物

参考:教学案例二

峰上智行-您AI学习路上的指引者!

weinxin
我的微信
我的微信
微信扫一扫