ComfyUI透明图层生成插件LayerDiffusion正式上线
2024-03-04 13:08
摘要:ComfyUI的LayerDiffusion透明图层生成插件也已经发布了,目前还只支持生成。该插件主要包含两个节点,其中一个遮罩节点需要安装comfyui-tooling-nodes插件。LayerDiffusion项目已经在forge的扩展上可以使用,经过测..
ComfyUI的LayerDiffusion透明图层生成插件也已经发布了,目前还只支持生成。该插件主要包含两个节点,其中一个遮罩节点需要安装comfyui-tooling-nodes插件。
LayerDiffusion项目已经在forge的扩展上可以使用,经过测试,其功能强大,不仅支持直接生成透明的图片元素,还可以在已有图片上生成与环境融合的透明图片。
LayerDiffusion利用大型预训练的潜在扩散模型(latent diffusion model)来创造透明图像。这项技术不仅可以生成单独的透明图像,还能生成多层透明图层。它通过一种被称为“潜在透明度”的方法,将透明度(即 alpha 通道)整合到预训练的潜在扩散模型的潜在结构中。
项目地址:https://top.aibase.com/tool/comfyui-layerdiffusion
这样做的好处是,它通过以潜在偏移的形式加入透明度,几乎不改变模型原有的潜在分布,从而保持了模型的高质量输出能力。基于这种方法,任何一个潜在扩散模型都可以通过对潜在空间的微调,转化为透明图像生成器。
在训练这个模型时,我们使用了一种涉及人机互动的方法,收集了一百万组透明图像层数据。研究显示,这种潜在透明技术不仅可以应用于不同的开源图像生成器,还可以适配多种条件控制系统,实现例如基于前景/背景条件的层生成、层的联合生成、对层内容进行结构控制等多种应用。
一项用户研究发现,大多数情况下(97%),相比于之前的临时解决方案(如先生成图像再进行抠图处理),用户更喜欢直接生成的透明内容。使用LayerDiffusion生成的透明图像在质量上可媲美真实的商业级透明素材,例如 Adobe Stock 提供的素材。
更新于:8个月前