ControlNet是斯坦福大学研究人员开发的Stable Diffusion的扩展,使创作者能够轻松地控制AI图像和视频中的对象。 它将根据边缘检测、草图处理或人体姿势等各种条件来控制图像生成。 ControlNet可以概括为一种简单的稳定扩散微调方法。
阿里云可以提供免费云计算额度试用,通过试用我们可以免费使用stable diffusion
领取地址:https://click.aliyun.com/m/1000380238/
打开之后我们可以看到可以领取180元的函数计算FC额度,点击免费试用
然后领取免费的NAS资源
https://free.aliyun.com/?product=9657388&crowd=personal
点击立即试用
领取之后去函数计算FC创建应用 点击链接一键直达
会提示 没有AliyunFcDefaultRole角色 点击创建
直接点击同意授权
然后找到 AI数字绘画stable-diffusion自定义模型版 点击立即创建
地域选择距离你较近的就行了,建议国外,因为到时候下载模型国内可能出错,其他参数可以根据需求自行调整
然后点击前往授权,授权角色
然后点击创建应用即可
同意并继续部署
等待项目部署
部署完成后点击初始化模型管理
NAS可能会提示未开通,因为我们刚刚已经领取过试用了直接点击立即开通即可
点击确认
创建一个密钥
等待初始化完成
然后点击 模型管理域名 来到管理页面
输入刚刚创建的密钥
点击stable diffusion
等待加载完成后就可以正常看到 Web UI了
然后打开文件管理
然后打开/mnt/auto/sd/models/ControlNet这个目录
之后就是下载模型了
然后我们就需要来到huggingface
打开ioclab/ioc-controlnet at main (huggingface.co)
右键分别复制这两个模型的下载链接
在文件管理中 上传>离线上传 粘贴下载链接
注意:如果无法正常下载可以选择将huggingface的模型下载到本地手动上传
qrcode monster:https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/main 同理
全部下载完就这样子了
接着就要准备二维码了,这里给出几个二维码生成工具
生成二维码后保存到本地
回到Web UI,找到设置
找到ControlNet
找到Multi ControlNet: Max models amount (requires restart) 调整为4让我们可以叠加使用ControlNet
然后点击应用设置,点击重新加载 Web UI
重启完成后采样器选择DPM++ 2M
高度和宽度我这里都调整成了768,可根据喜好自行调节
ControlNet设置
unit 0
Control Weight设置 1.2-1.4区间比较合适,可根据识别率调节
Starting Control Step进场时机和Ending Control Step出场时机可根据出图效果微调
unit 1
unit 2
效果图
采样步数可以设置多一点设置为50左右
主要还是识别率比较低,需要多尝试,修改提示词
注意:阿里云函数计算FC不免费出网流量,请注意控制流量使用,以免欠费
有什么问题可以评论区留言!
暂无评论内容