Skip to content

深度处理Depth+姿态控制open pose

上一篇文章中,我们学习了如何在ComfyUI中使用Controlnet的线稿处理Lineart,软边缘Softedge 。大家都知道,Controlnet主要应用于线条处理、深度处理和姿态控制,学会有助于我们提升我们的生图技巧,在我们ComfyUI中也是非常重要的部分,所以学会今天这节教学,可以让你的生图技巧再精进一步。在本篇教学中,我们继续教学常用的Controlnet,深度处理Depth,以及姿态控制open pose。

本文我们重点学习深度处理Depth,以及姿态控制open pose。

Depth深度处理,指的是根据深度图调整新添加对象的大小和遮挡关系,尽量能够还原参考图的特征以及一些图片细节,使我们生成的图片看起来更自然。其实它的用法和上一篇咱们介绍的softedge软边缘有一点点像,当你希望生成的图像具有特定的空间布局时(例如某个物体在前景,另一个物体在背景),Depth Controlnet 可以帮助模型理解这些空间关系。

首先我们还是先加载关于该Controlne预处理器,注意几乎每一种Controlnet都有与之相匹配的预处理器。我们需要双击界面搜索深度预处理器,选择这个ZOE深度预处理器。这个处理器与我们的Depth是配套使用的。然后我们把原始图像和这个深度预处理器的图像输入相连。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d352366.png

在这里呢,我们还是使用上一篇中的工作流。因为Controlnet的几个教学有相似性,所以我们用同一个工作流教学即可。这里我们选择把Controlnet模型更换成跟SDXL有关的depth。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d375456.png

接下来咱们直接点击开始生图。

我们可以看到生成图像的空间关系和我们的原图已经能有90%的近似。同样,这里我们看一下预处理之后的图像。当这张图片颜色越越白,就代表着离镜头越近,颜色越黑则代表着离镜头越远,这就是一种深度的变化。其实最终生成的图像也是根据这一个黑白图的空间关系,跑一张与原图空间关系非常近似的图片。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d3c00c8.png

以上就是我们的Depth深度处理。接下来我们学习剩下一个:open pose姿态控制

Open pose姿态控制

指的是实时地检测图像或视频中的人体姿态,包括关键点(如关节位置)的定位,我们可以改变输入的姿态图,可以在保持人物外观的同时改变其姿势。OpenPose Controlnet使用人体姿态的关键点(如关节位置、肢体方向等)作为输入信号,控制生成的人物姿势。它可以确保生成的人物动作与输入的姿态一致。如果你想生成一个特定动作的人物图像(如跳舞、跑步、挥手等),OpenPose 可以确保生成的动作与你的设计一致。生成特定动作的人物图像,比如一个人在做瑜伽、打篮球等。修改人物的外观(如换衣服、换发型),同时保持动作不变,在多人场景中生成复杂的互动动作,这都是open pose可以做到的。

我们还是一样,直接在屏幕空白处双击,然后搜索open pose,也就是姿态预处理器。同样的我们使用openpose对应的Controlnet预处理器,然后我们把原始图像和这个预处理器的图像输入相连。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d3d41e9.png

接着将加载器切换成open pose,之后再点击生图即可。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d3dda73.png

你可以看到他检测了我们原图的肢体动作,并参考相应的open pose图进行参考生成。同样,如果我们更换一张图片,肢体动作还是一样保持不变。这就是我们的open pose Controlnet。

https://casdao.oss-cn-beijing.aliyuncs.com/upload/1977d3e90ad.png

那么以上就是我们本篇教学的两个Controlnet知识点。下一篇文章我们将会教学如何使用双Controlnet实现目标图像效果,希望大家继续学习,都有所收获。

苏州算网智能科技有限公司版权所有