Stable Diffusion Webui controlnet怎么安装

时间:23-11-23 14:17:41

作者:

分类:AI软件教程

  在之前的文章中,我们已经详细介绍了如何通过代码的方式使用ControlNet,但如果你希望以傻瓜的方式轻松生成AI图像,Stable Diffusion WebUI为你提供了一种简单的选择。本文将为你介绍如何在Stable Diffusion中以傻瓜的方式直接使用ControlNet来控制图像生成。

    0bf7da2bc6b142888de99b9ab6764b16

  ControlNet:掌握AI图像生成的关键

  如果你曾经使用过Stable Diffusion,你可能已经发现,图像的输出有着无限的可能性,就像赌博一样。即使你输入了复杂而精心设计的提示,控制AI的能力仍然有限。因此,我们需要一种方式来最大程度地控制生成的图像。

  ControlNet是由斯坦福大学的研究人员开发的Stable Diffusion的扩展,它使创作者可以轻松地控制AI图像和视频中的对象。ControlNet可以根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成,它可以被概括为一种简单的稳定扩散微调方法。

  安装ControlNet插件

  在Stable Diffusion WebUI中,你可以轻松安装ControlNet插件,只需按照以下步骤操作:

      打开Stable Diffusion WebUI。

      如果你看不到ControlNet标签,可以点击页面最上方的”Extensions”,然后按照下图中的地址进行安装:

  插件安装地址

      安装完成后,记得点击”Apply and restart UI”以应用更改。

  使用ControlNet:简单而强大的控制工具

  打开ControlNet标签后,你将能够在图像生成时获得更高的精度和更好的控制。下面我们将介绍ControlNet的主要功能以及如何使用它们:

  ControlNet功能介绍

ControlNet Image选项

      Enable: 启用ControlNet。

      Invert Input Color: 用于切换上传的图像的颜色,以适应模型的需求。

      RGB to BGR: 调整图像的颜色信息。

      Low VRAM: 减缓ETA进程,适用于显存小于6GB的情况。

      Guess Mode: ControlNet自动识别图像,但效果不一定好。

调整大小模式

      Envelope (Outer Fit): 调整Txt2Image的大小以适应ControlNet图像的尺寸。

      Scale to Fit (Inner Fit): 调整ControlNet图像的大小以适应Txt2Image的尺寸。

      Just Resize: 不保留纵横比,改变ControlNet图像的大小以匹配指定的尺寸。

Canvas Width 和 Canvas Height

  提供手动创建绘图或草图的空白画布,不需要上传任何图像。

Preview Annotator Result

  能够快速查看选择的预处理器是如何将上传的图像或绘图转换为ControlNet的检测图,这对于尝试不同预处理器非常有用。

Preprocessor 和 Model

  ControlNet的主要选项,根据所需的输出,用户可以选择相应的控制方法。 下面我们介绍几个常用的ControlNet预处理器:

  常用的ControlNet预处理器

1. Canny边缘检测

  Canny边缘检测器创建高对比度区域的轮廓来检测输入图像。线条可以捕捉到非常详细的信息,但要注意,背景中的物体越少效果越好。用于此预处理器的最佳模型是control_sd15_canny。

2. Depth & Depth Leres

  这两个预处理器有助于生成输入图像的深度估计,用于控制图像内物体的空间定位。深度通常用于控制图像内物体的空间定位,但在大图像时可能会丢失一些细节。一般会与control_sd15_depth模型组合使用。要根据需要使用Midas Resolution函数来增加或减少detectmap中的大小和细节级别。

3. HED (Holistically-Nested Edge Detection)

  HED可以创建清晰和精细的边界,输出类似于Canny,但减少了噪声。它的有效性在于能够捕捉复杂的细节和轮廓,同时保留细节特征。用于此预处理器的最佳模型是control_sd15_hed。

4. MLSD (Mobile Line Segment Detection)

  MLSD适用于生成建筑和其他人造作品的轮廓,但不适用于非刚性或弯曲的物体。它适用于室内布局或建筑结构。用于此预处理器的最佳模型是control_sd15_mlsd。

5. Normal map

  法线图用于精确定位物体的粗糙度和光滑程度,能够突出复杂的细节和轮廓。用于此预处理器的最佳模型是control_sd15_normal。

6. OpenPose

  OpenPose生成一个基本的骨骼火柴人形象,它常用于生成多个一致的主题。用于此预处理器的最佳模型是control_sd15_openpose。