Stable Diffusion的ControlNet模型测评_stable diffusion模型_stable diffusion最新更新

2024-12-16 来源：AI图库吧

千呼万唤始出来!就在昨天，WebUI的ControlNet1.1.4版本终于更新，这次的更新支持了SDXL1.0的模型。我怀着兴奋的心情，打开了网站开始下载模型。这次总共出了四种控制类型，分别是Canny、Depth、Sketch和Openpose。

来到Hugging Face的网址：https://huggingface.co/lllyasviel/sd_control_collection/tree/main。可以看到这里有相当多的模型，当然，我们不需要全部都下载下来，因为它们之间有很多功能是重复的，是不同的作者做出来的。

但是呢，为了帮你们提前踩雷，我把他们全部都下载了，而且逐个做了测试，看到我这么辛苦的份上，你们一定会要给我一个“点赞”和“在看”的吧。

接下来，让我们来分类看一下吧。

#Canny硬边缘

首先是canny，它有几个不同的型号，体积越大，速度越慢。

我使用的是4080ti的笔记本进行的测试，12G显存。

模型sdxl base+refiner

提示词：masterpiece,best quality,1girl

采样方法：euler a

尺寸1024*1024

使用diffusers的2.5Gfull模型绘制的图片，一张图花了2分57秒，从这个效率上来看，这个大尺寸基本可以弃了。

使用diffusers的320Mb的small模型，用时34s，质量上差距不大，主要是时间优势很明显。

我们可以再看看其他作者的，这张是kohya的，用时33秒，更接近真实质感。

sai的canny分为128lora和256lora，分别用时39秒和1分08秒，这个模型比较偏绘画的感觉。

最后还有一个t2i的canny模型，用时34s，也是偏插画一点。

你们觉得哪个效果更好呢?时间上基本都在30秒以上，如果关掉refiner的话，能节省一半左右的时间，平均在17秒左右。

#Depth深度

接下来测试一些depth模型，图形尺寸664*1024.

使用diffusers的full模型，用时2分48秒，sdxl给我随机到了一个拼贴画的风格。

使用diffusers的small模型，用时23s。

使用kohya模型，用时42秒。这……好像和我的图片没什么关系。

使用sai模型，用时1分12秒，画质还可以，稍微有点慢。

使用sargezt模型，奇奇怪怪，没什么关系，用时1分52秒。

# Sketch草图

接下来测试一下sketch模型，画一只可爱的小猫，图形尺寸1024*624.

使用kohya模型，用时30秒，这是个啥???

使用sai模型，没找到小猫具体的位置，用时32秒，画质还可以。

使用t2i模型，用时28秒，唯一一个准的。

# Openpose骨架

最后测试一下openpose模型，图形尺寸1024*624.

使用kohya模型，画很好看，但姿势不对，用时40秒。

使用thibaud模型，动作有那么点意思了，但是时间太慢了，用时2分12秒。

#总结

最后说下结论吧，没有权威性，全凭主观感受。

在canny模型中，我推荐使用“diffusers_xl_canny_small”，出图快，效果也还不错;depth模型中，我推荐使用“diffusers_xl_depth_small”，理由同上，其实“sai_xl_depth_128lora”效果也不错，但是渲染时间太长了，当然这个不是模型的问题，是我的问题，因为我买不起那么好的电脑;Sketch模型中，我推荐使用“t2i-adapter_xl_sketch”，这是腾讯家出品的，起码还挺还原的;openpose模型中，推荐“thibaud_xl_openpose_256lora”，虽然它画的不太准，但是它时间短啊，唉。。。

以上就是对sdxl的controlnet在webUI中表现的测评。虽然我的测评并没有很严谨(客观原因还是sdxl对机能的要求太高了)，但是总体的成功率感觉还是太低了。而且因为sdxl模型支持多种画风，所以在我的提示词中并没有给出具体要求的情况下，controlnet的结果是千变万化的。