如何在comfyUI中搭建SDXL_stable diffusion怎么搭建
前情提要:上回书说到,我们下载并本地部署了ComfyUI的,利用简单的节点操作完成了我们的第一个工作流(【ComfyUI】本地部署ComfyUI上手指南,我就喜欢连连看),并且在这一集(【ComfyUI】Blender+Stable Diffusion!少年啊,这盛世如你所愿!(附中文汉化插件))中完成了对ComfyUI界面的汉化。今天,我们就要好好研究一下,如何在comfyUI中搭建SDXL的工作流,以及对比一下comfyUI和webUI在生成图片效率上的差别。
虽然现在已经有很多大佬分享了自己的工作流,但我还是建议大家能自己先手搓一下,一是为了搞懂SD的工作原理;二是因为自己连的工作流出图的那一刻,这个成就感是无与伦比的。就好像开汽车时,手动挡和自动挡的区别。
下图就是我们之前做好的第一个文生图工作流,我们今天就在这个基础上进行改进,创造一个适合SDXL的双模型工作流。
首先看到“K采样器”这里,我们点击“右键”-“新建节点”-“采样器”,可以看到有两个选项,今天我们要使用的是“K采样器(高级)”。
相比较而言,高级采样器会多一些调整参数,这些参数是我们今天要用到的。
因为SDXL需要用到base和refiner两套模型,所以我们要将模型节点和采样器节点分别复制一份下来。
我们先来添加第一个base模型的采样器,参数设置如下:
添加噪波:enable。确保打开,添加噪声。
步数:30.迭代的总步数,比如我们设置为30步。
结束降噪步数:20.这个代表的意思就是,前面20步将采用base模型进行运算。
返回噪波:enable。这样就可以将剩下的噪声传递给下一个refiner模型。
接着,将这个base的采样器传递到下一个refiner的采样器,参数设置如下:
添加噪波:disable。这里关闭,因为是继承上一个采样器,所以不需要再添加噪声。
运行后操作:fixed。相当于锁定随机种子的意思。
步数:30.迭代的总步数,和之前保持一致。
开始降噪步数:20.传递过来之后,是从第20步开始的。
结束降噪步数:30.这个数字也可以保持默认,反正就是运行到结束。
返回噪波:disable。不用返回了,到这一步已经结束了。
但是,现在问题来了。如果我将refiner的模型连上提示词的话,第一个base模型的链接就会断开,怎么样才能让两个模型同时起作用呢?
我们来加入一个新节点,右键点击-【新建节点】-【实用工具】-【Primitive元节点】。
这个节点很有意思,它连接谁,就会变成谁的属性。
在文本节点上单击右键,选择【转换文本为输入】。
此时,文本节点上就多了一个文本的连接点。
将元节点与文本节点相连接,这时元节点就变成了正向提示词的输入框。
同理,可以将负向提示词框也用元节点代替。
再复制出一套正负提示词节点,一套给base模型,一套给refiner模型。
然后,base模型的那一套输出给第一个采样器节点,refiner模型的那一套输出给第二个采样器节点。
最后,我们能可以输出两个图像节点,第一个链接base模型的vae,可以设置为预览图像;第二个链接一个VAE加载器的节点,加载sdxl自带的vae,设置为保存图像,也就是我们最终输出的图像。
使用这个工作流我们来跑一张sdxl模型的图片,设置好两个模型和提示词,点击生成。
在生成过程中,显存的占用率为7-9GB。
从后台可以看到,每一次生成的耗时在13-15s之间。
我使用同样的参数来测试一下webUI。
在生成过程中,显存的占用率为8-11GB。
从后台可以看到,每一次生成的耗时在25s之间。
可以看出,comfyui在处理sdxl的模型是,确实要比webui更有效率一些。
可能有些朋友已经被这个节点绕得有点晕了,但是还没结束。
接下来,我们再试一试sdxl的风格控制,添加【新建节点】-【实用工具】-【SDXL Promot Styler Advanced】节点。
我们可以看到,在这个节点上有两套正负向提示词,分别对应着base和refiner。
点击右键,分别增加g和l作为输入点。
这样,我们就可以通过这一个节点将文本提示词分别赋予到base和refiner上,同时也把风格的切换加进了工作流当中。
点击这里的【style】就可以看到各种风格了,不过都是英文的。
我这里有一份中英文对照的表,大家也可以参考一下,一共105种风格,我会把它放在网盘里。
选一个黏土风格进行测试,尺寸设置为1280*768.用时15.11.
同样的参数,我在webui里跑了一下,用时3分33秒。
总结
通过今天的搭建,我们已经掌握了sdxl在comfyui中的工作流程,下次再要进行生图,只需要将这个工作流打开就可以直接运行了。效率高、生图快,可能这就是comfyui最大的优势点吧。
扫一扫,关注作者公众号
stable diffusion、Blender等学习心得分享
-
小度全新AI硬件将于百度世界大会发布丨智谱AI、即梦AI上线新一代视频生成模型丨OpenAI安全系统团队负责人离职
【AI奇点网2024年11月11日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-08 11:46:33 -
字节跳动内测豆包通用图像编辑模型SeedEdit丨Grok聊天机器人免费版内测丨月之暗面Kimi创始人被提起仲裁
【AI奇点网2024年11月12日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-08 11:25:01 -
李彦宏:文心大模型日调用量超15亿丨百度发布文心「iRAG」文生图技术丨小度AI智能眼镜发布,搭载大模型边走边问
【AI奇点网2024年11月13日早报】本站每日播报AI业界最新资讯,触摸时代脉搏,掌握未来科技动向。事不宜迟,点击查看今日AI资讯早餐。
2025-01-08 10:58:46 -
巧妙利用这两个AI产品,让你的国庆出行没有废片
这两天就有朋友来问我,有没有那种能修图的AI,就是扩图+消除啥的傻瓜好用的。大家大概的需求总结一下其实就两,AI消除+AI扩图。
2025-01-08 10:34:49 -
OpenAI初步谈妥融资70亿美元:最大金主微软追加投资10亿,苹果退出
据华尔街日报报道,苹果公司退出了对 OpenAI 的新一轮融资谈判,而微软则计划向 OpenAI 追加约 10 亿美元的投资。
2025-01-08 10:14:21 -
详解Meta全新大模型Llama 3.2系列:多模态视觉识别能力媲美OpenAI GPT-4o
Meta公司推出了Llama 3 2,也是它首款能够理解图像和文本的旗舰视觉模型。包含中型和小型两个版本,以及更轻量化可用于手机端侧的纯文本模型。
2025-01-08 09:46:43
-
怎么快速给模特换装_怎么用stable diffusion给模特换装
本篇教程主要运用StableDiffusion这个工具来进行操作,下面会通过几个小案例,给大家展示不同需求下,我们该如何使用StableDiffusion来辅助我们完成服装效果展示。本教程适用于电商设计场景、摄影场景等多个运用人物设计的实战中
2024-12-23 13:57:15 -
万万没想到,兵马俑都开始跳「科目三」:阿里云通义千问APP打造“全民舞王”视频创作工具,实测效果大赞
兵马俑跳《科目三》,是我万万没想到的。有人借助了阿里云之前走红的AI视频生成技术——「Animate Anyone」,生成出来了这个舞蹈片段。
2024-12-13 16:46:26 -
AIGC落地实践!四招帮你快速搞定运营设计
回顾这一年,随着 AIGC 浪潮的爆发,在掌握AI工具已经成为设计师必备技能。今天这篇文章,通过三个案例流程拆解带大家从新时代设计工作流,到必备「四大招式」,到图标设计六大方向,到训练专属模型,再到全流程手把手拆解设计项目,绝对干货满满
2024-12-18 16:57:17 -
ChatGPT怎么本地登录_GPT怎么使用_GPT本地项目
本期就ChatGPT的这次更新再次将完全新人使用指南提上日程,并对此次更新做些设想和想象。希望大家喜欢!
2024-12-19 07:41:20 -
stable diffusion初识_stable diffusion跟其他工具有什么区别]
关于Stable Diffusion的内容很多,在本篇教程里,我会先为你介绍Stable Diffusion模型的运行原理、发展历程和相较于其他AI绘图应用的区别。
2024-12-24 13:45:31 -
PikaAI怎么用_PIkaAI怎样生成视频_AI视频生成器Pika怎么用_AI视频生成工具Pika教程
Pika这款工具7月份在AIGC界横空出世,被圈内誉为目前“全球最好的文本生成视频AI工具”之一,也被认为是另外一款知名AI视频生成工具Runway的强有力挑战者。
2024-12-25 13:35:53 -
如何使用 ChatGPT 调试代码
当您的代码出现问题时,您可以向 ChatGPT 提供故障代码和问题描述。AI 工具将尝试识别并纠正问题。
2024-12-31 12:01:41 -
stable SR脚本安装_stable diffusion脚本网站
上节课我们讲的4xUltraSharp是不是觉得已经很强了! 那么如果我拿出Stable SR脚本你应该如何应对呢?
2024-12-31 13:49:18 -
零基础2天速成!白嫖「秋叶」官方AI绘画课程,卷死同事
和「秋叶」一起学AI绘画,掌握Stable Diffusion、Midjourney的使用方法,开展AI绘画副业,搞钱!?
2024-12-17 12:53:01 -
openpose如何自定义角色_个性化角色姿势怎么定制_Controlnet深度解析
在设计角色姿势时,如何使用openpose进行姿势自定义,以及如何通过拍摄照片或使用第三方后期软件?同时,虚幻引擎对于角色姿势的编辑也很重要,本视频就并展示了如何使用优异商城中的免费资源来创建人物角色。
2024-12-19 11:43:51