外观
Flux-ComfyUI生图系列三|设计师必学篇,ComfyUI节点好用在哪里?快速认识基础节点!
做过设计的人都知道Midjourney好用,使用简单,风格效果出色,这也是很多设计师刚刚接触AI最先使用的平台。但是设计的道路往往不只是生出自己想要的图,而是更多的如何让甲方满意!ComfyUI 则是在此基础上,更好的帮助去做一些Lora工作流,通过工作流的方式,实现更高的出图水平和图片精度,同时其训练的Lora复用程度也跟高,更能完美满足甲方爸爸的设计需求,做出五彩斑斓的黑。
之前已经教大家认识ComfyUI的工作流边栏以及如何做出简单的海报,本篇将详细讲解:【学会基础ComfyUI操作节点】。
本次我们使用的是无阶未来为大家准备的通用工作流,这里是我们已经搭好的工作流文件,你可以进行下载并在此基础上自己进行修改。在无阶未来公众号后台回复【工作流】即可获取该工作流下载链接。
个人工作流的大致情况:
有一个最基础的操作需要先学习,双击ComfyUI的空白处即可弹出搜索框,搜索你需要的节点再点击即可。我们可以先看第一个节点【起始节点Load Diffusion Model】
该节点原名为UNETLoader节点旨在通过名称加载 U-Net 模型,方便在系统中使用预训练的 U-Net 架构。目前改名为Load Diffusion Model,通常用于加载Flux模型,其中unet_name为模型名称,weight dtype 中的fp8_e4m3fn和fp9_e5m2 表示不同精度和动态范围。目前Flux生图的效果两者相差并不大。Flux模型的下载链接在这里:https://huggingface.co/black-forest-labs,选择你需要的dev或schnell模型下载。这里以dev为例子。
第二个节点是后续连接的【LoraLoaderModelOnly节点】该节点用于载入你需要使用的Lora,例如这里就使用了无阶未来训练的国潮风格Lora,Lora的训练就放在下次进行讲解,这里先只对ComfyUI进行说明和教学。如果你需要相应的Lora文件,无阶未来在这里放了链接,你可以自己进行下载。
下载链接: https://pan.baidu.com/s/1k_Pzkhn62801EEDSbYQnjw?pwd=dps3 提取码: dps3
我们可以看到从Load Diffusion Model处的线连接到了LoraLoaderModelOnly处,这样就代表了你在这个工作流中需要使用Lora,并且如果你需要使用多个Lora,直接复制LoraLoaderModelOnly节点并将他们串联即可。上面的lora name 是使用的Lora的名字,下面的strength model则是代表你使用Lora的权重,一般权重设计都在1及以下,越高权重代表出现的图片越偏向于Lora的风格,越低则越偏向于大模型本身的风格。
接着将线连到【BasicGuider】和【BasicScheduler】
这里的BasicGuider起到一个中介的作用,你可以看到BasicGuider的输入处需要模型和条件两条连线,而输出为引导的一根线。他的引导练到了一个叫做SamplerCustom(自定义采样器)的地方,我们下面再进行介绍。
【BasicScheduler(基础调度器)节点】旨在根据提供的调度器、模型和去噪参数为扩散模型计算一系列 sigma 值。它根据去噪因子动态调整总步骤数,以微调扩散过程。这里的1.scheduler(参数决定了用于计算 sigma 值的调度算法。它直接影响扩散过程的进展和特性。)可以自己选择,但通常使用默认的simple即可。2.Steps(参数指示扩散过程中的总步骤数。它影响过程的粒度和持续时间):简单来说就是你生成这张图的步数,通常情况下为20-28之间。步数越高需要的时间越长,但并不一定步数越高,画面效果越好,这个需要具体情况具体对待。一般默认的20步即可。
【SamplerCustom(自定义采样器)】旨在为各种应用提供灵活且可定制的采样机制。它允许用户选择并配置不同的采样策略,以满足其特定需求,从而增强采样过程的适应性和效率。说得通俗些就是生成图片的采样方式你可以自行进行定义,并且你可以在Manager里的相关节点找到你需要的采样器进行下载,这里以我们需要使用的功能为例。
此处我的自定义采样器输入有五个,输出也只需要连接一个即可,输出连接的节点为VAE Decode
【VAE Decode节点】旨在使用指定的变分自编码器(VAE)将潜在表示解码成图像。它的目的是从压缩的数据表示生成图像,从而促进从它们的潜在空间编码重建图像。上面的Latent代表要解码成图像的潜在表示。它对解码过程至关重要,因为它提供了重建图像的压缩数据。下面的VAE则需要连接Load VAE装载VAE文件的节点。我们来简单了解一下VAE的原理和作用。VAE(Variational AutoEncoder)变分自编码器是一种重要的生成模型。想象一下,VAE就像一个非常聪明的画家:
编码器(Encoder):首先,这个画家会仔细观察一幅画,并把画中的关键特征记在脑子里。这就像是把复杂的画压缩成简单的要点。
潜在空间(Latent Space): 画家脑子里记下的这些要点,就形成了一个想象空间。在这个空间里,画家可以自由组合这些特征。
解码器(Decoder): 然后,画家就可以根据脑子里的这些要点,重新画出一幅相似但又不完全一样的画。这就像是把简单的要点又还原成复杂的画作。
VAE模型在AI绘图中的作用就是帮助模型更好地理解和生成图像的细节,特别是在处理复杂的视觉元素时。这便是VAE的作用。
我们先看完了一整条主要线路,我们接着回到最开始的前方来看其他分支部分。我们来看BasicGuider的条件这条线路,首先第一部分为【DualCLIPLoader节点】
DualCLIPLoader节点( 双 CLIP 加载器),旨在同时加载两个 CLIP 模型,便于执行需要整合或比较这两个模型特征的操作。
想象你在厨房里准备一道菜,你有两个不同的调料瓶——一个是盐,一个是胡椒。每种调料瓶都能为菜肴增添不同的风味。现在,你有一个特别的工具,可以同时使用这两个调料瓶来调味。这就像是DualCLIPLoader节点,它可以同时加载两个不同的CLIP模型,让你能够在生成艺术作品时结合不同的风格或功能,从而实现更丰富和灵活的创作。而Flux模型的Clip一般都需要使用两个,一个一般为t5xxl_fp8_e4m3fn.safetensors,另一个为clip_l.safetensors,你可以在下面的网址进行下载:
clip_l.safetensors https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/clip_l.safetensors
t5xxl_fp8_e4m3fn.safetensors
https://huggingface.co/comfyanonymous/flux_text_encoders/blob/main/t5xxl_fp8_e4m3fn.safetensors
接着连接到【CLIP Text Encode (Prompt)节点】
CLIP Text Encode (Prompt)是我们填写提示词的地方,由于Flux不需要填写负面提示词因此这里我们只需要正面提示词一个部分,在正面提示词处填写我们需要的对画面的描述。这里的第一个词是我们lora的触发词,chinastyle,这是在训练的时候添加的,这个词不能修改也不能够删除,你可以放在描述的首部也可以放在尾部,通常情况下我们放在首部为主。后面的一系列词都是对需要的画面的描述,这里来介绍提示词的写法。
Flux的提示词为自然语言描述即平时的英文描述即可,比如This painting creates a vibrant and festive atmosphere for National Day(这幅画为国庆节营造了一种生机勃勃的节日气氛),如果你的英语水平不高,直接使用网页的机器翻译也可以,如果你没有灵感,你可以用一些AI工具,上传图片让它帮你用英文描述。
条件部分就也介绍完毕。最后我们来看剩下的三个简单的输入,分别为
【KSamplerSelect:采样器】
【RandomNoise:噪波生成】
【Empty Latent lmage:Latent输入】
首先是KSamplerSelect类用于根据提供的采样器名称选择特定的采样器。它简化了采样器选择的复杂性,允许用户轻松地在不同采样策略之间切换,以适应他们的任务需求。
sampler name:指定要被选择的采样器名称。此参数决定了将使用哪种采样策略,影响整体采样行为和结果。这里对采样器大类进行一些介绍:
1.名称带 a / 或带 ancestral 的采样器
a为英文ancestral(祖先采样器)的缩写,这样的采样器因为会在采样过程中持续添加噪声,会使得每步采样生成的画面都具有一定随机性,也就是不收敛
2.名称中带GPU的
诸如dpmpp_sde_gpu这样的采样器是针对GPU硬件进行了优化的版本,它们能够在图形处理器上高效运行大规模并行计算任务,从而显著加快图像生成速度。你可以选择不同的采样器进行生图再对比,使用你觉得好的即可。
接着我们来看【RandomNoise】
noise_seed在我们口中通常叫做种子,如果在生成图片的时候长宽采样等一系列相同,如果种子不一样,那么生成的图仍然会不同,如果你需要完全一致的图片,还需要保证图片的种子也相同,这便是种子的作用,而在这里的control_after_generate处我们设置为randomize,即代表着随机种子,这样我们每次生成的图片才会不一样,否则会一直生成完全一致的图片。
最后是【Empty Latent lmage】:空白的潜空间图像,你可以把它理解成为画布,此节点设计用于生成具有指定维度和批量大小的空白潜在空间表示。该节点是生成或操作潜在空间中图像的基础步骤,为进一步的图像合成或修改过程提供了起点。简单来说就是控制图像的宽和高以及一次生成多少张图,这就是width,height和batch_size作用的概括总结。
相信到这里你已经大概入门了ComfyUI并且对相关节点有了一定的了解,那么在跟着我搭好工作流的情况下,点击右上的Queue Prompt按键即可开启生图;向右侧拖动工作流页面,你就可以看到生成的图片了,鼠标右键图片之后在出现的页面点击Save Image即可下载你需要的图片。