跳至主要內容

ComfyUI

LPrincess大约 3 分钟aiimage

ComfyUI配置

git clone https://github.com/comfyanonymous/ComfyUI

因为之前已经装过sd-webui,并且想复用它的大模型,则可以先找到..\comfy-UI\extra_model_paths.yaml.example这个文件。首先去掉.example后缀然后用任何你喜欢的文本编辑器修改这个文件。找到a111,修改base_path,改为你实际的webui安装路径(此例中我的webui在..\sd-webui-aki-v4.9下)

注意,base_path的冒号后面有个空格,斜杠方向采用linux标准,哪怕是在windows下用也必须用linux格式的路径。

ComfyUI核心模块

模型加载器(Load Checkpoint):Load Checkpoint用于加载基础的模型文件,包含了Model、CLIP、VAE三部分。可以简单理解为在这里放训练好的模型文件。

CLIP模块:CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入。可以简单理解为这里是输入提示词的地方(正向和负向提示词。比如在绘图过程中大模型总是画不好手,你可以在负向提示词那一栏里加上一句:模糊扭曲的手

采样器:用于控制模型生成图像,不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。

KSampler 使用提供的模型以及正负条件来生成给定 latent 的新版本。首先,根据给定的种子和降噪强度对潜图像进行噪声处理,擦除一些潜图像。然后,使用给定的模型和正负条件作为指导来去除这些噪声,在图像被噪声擦除的地方“构思”新的细节。

InputFunction
Model用于降噪的模型
Positive积极的条件反射
Negative消极条件反射
latent_image将被去噪的 latent
seed控制噪声产生的随机种子
control_after_generate控制seed在每次生成后的变化
steps降噪期间要使用的步骤数。允许采样器进行的步骤越多,结果就越准确。相对的生成时间也越长。请参阅 samplersopen in new window 页面,了解有关如何选择适当步骤数的良好指南
cfgclassifier free guidance决定了prompt对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。
sampler_name,scheduler降噪参数,请参阅 samplersopen in new window
denoise多少内容会被噪声覆盖(使用小于 1.0 的降噪值, 这样,原始图像的某些部分在被噪点时被保留下来,从而引导去噪过程到外观相似的图像。)

解码器:VAE模块的作用是将Latent space中的embedding解码为像素级别的图像。简单理解就是出图片的区域。

局部重绘

在WebUI中通常选择用涂抹重绘区域的方式来让AI知道要重绘哪里,这个被涂抹的区域会被AI识别为黑白区域,白色的部分也就是所谓的重绘蒙版“遮罩”。

参考链接

  • https://blenderneko.github.io/ComfyUI-docs/Core%20Nodes/Sampling/KSampler/
  • https://blog.csdn.net/ki1381/article/details/140646684
上次编辑于:
贡献者: L-mj0