Jerry Davos大神教程:用IC灯光变换器重塑视频光照,背景随意换!

2024-07-12 13:45
摘要:最近,Jerry Davos大神在YouTube发布了最新教程,详细给大家讲解了如何使用 Comfy UI 来改变视频的光线效果,并且进行渲染。安装与准备首先,你需要下载Jerry Davos大神的工作流程文件,链接在文末。下载后,直接拖..

最近,Jerry Davos大神在YouTube发布了最新教程,详细给大家讲解了如何使用 Comfy UI 来改变视频的光线效果,并且进行渲染。

安装与准备

首先,你需要下载Jerry Davos大神的工作流程文件,链接在文末。下载后,直接拖入 Comfy UI 中,它会提示你缺少的节点。别担心,使用管理器一键安装,简单快捷。

如果安装过程中遇到问题,Jerry Davos大神也提供了帮助链接,点击即可获得解决方案。以下是Jerry Davos大神详细教程:

工作流程概览

工作流程被巧妙地分成了几个小组,每个小组都有其独特的功能,从输入设置到输出保存,一目了然。

输入设置:包括进入环设置和源视频设置。

动画差异组:用于调整光线效果。

合成组:IC 和光线映射的合成。

案例采样器组:控制渲染图像的步数。

细化器:提高渲染分辨率。

提示输入:描述你的图像和新光线条件。

输入设置

这里有5个设置:

采样器步骤:它决定了 KSampler 渲染图像所采取的总步骤数。它不应更改。[默认值26]

细节增强器:它可增强最终渲染中的细微细节。[使用0.1至1之间的值]

种子:它控制每个 KSampler 的世代种子。

采样器 CFG:控制 KSampler 的 CFG 值。

精炼升级:其作用类似于高分辨率修复值。[使用1.1–1.6可获得最佳效果]

提示输入

正面提示:输入最能描述新灯光下图像的提示。

负面提示:配置为提供最佳结果。请随意编辑。

剪辑文本编码节点:它有助于对文本进行编码以最大程度地提高质量。将其保留为“完整”

模特和 Loras

检查点:选择任何逼真的 SD1.5模型以获得准确的结果。选择任何 SD1.5模型以获得风格化结果。

Loras:[可选] 如果需要,可以从列表中选择任何 loras。不要全力使用。使用0.5-0.7左右可获得最佳效果

基本设置解析

每个设置都有其作用,比如案例采样器步数决定了渲染图像的详细程度,细节增强器则提升最终渲染的小细节。

种子:控制每次案例采样器的生成种子。

细化器:类似于高分辨率修复,提升画质。

提示输入:描述你的图像,系统已配置最佳结果。

模型与视频选择

选择你的 V 模型,无论是现实风格还是卡通风格,都可以。Loras 强度建议设置在50% 到70% 之间,以达到最佳效果。

视频上传与设置

上传你的源视频,注意文件大小不要超过100MB,时长控制在15到20秒内,以免内存不足。

光线映射视频

上传你的光线映射视频,确保其时长不短于源视频,否则会出错。

渲染设置

调整渲染分辨率,无论是风景还是肖像,最大分辨率都不会超过设定值。建议使用800到1200的值,以达到最佳效果。

光照贴图

上传灯光图:点击并上传您想要的灯光图视频。

它将自动缩放到源视频的尺寸

确保它长于或等于源视频的尺寸,否则会出现错误。

Light Map ControlNet:此光照图也用作使用此模型的Light controlnet

使用基于光线的控制网络模型,注意 CN 强度值不要过高,以免过曝或光线过渡过于锐利。

动画差异

加载 Animatediff 模型:您可以使用任何模型来获得不同的效果。

Animatediff 其他节点:您需要对 animatediff 有一些了解才能更改其他设置 [ 您可以在这里找到它们]

设置 SMZ:这是用于提高模型管道质量的节点,所有设置都已预定义以便运行良好。

光照图和 IC 调节的组成

上面的顶部调整节点(灰色)用于控制 IC 光调节的调节,以降低对比度和控制亮度。

生成新背景:禁用时,它将原始图像输入并尝试根据“背景提示”(如果在肯定提示框中存在)映射与源视频背景类似的细节

[1girl、阳光、日落、白衬衫、黑色短裤、室内、房间]

当启用生成新背景时:它将根据深度生成新背景

[1女孩,阳光,日落,背景中的自然风光,天空]

此外,深度控制网的强度和结束百分比降低至45%,以在背景中形成开放区域。

顶部光照图:当为 True 时,光照图将位于源视频的顶部,并且更占主导地位;当为 False 时,源将位于顶部,更占主导地位且更亮

主题影响区域:2种混合模式效果最佳

根据顶部或底部的光照图使阴影区域变暗。

它会根据顶部或底部的光照图来增亮阴影区域

混合因子用于强度。

整体调整:这将从上方控制最终处理的光图的亮度、对比度、伽马和色调。

图像重映射:使用此节点控制整个图像的整体亮度和暗度。

最小值越高,场景越亮

较低的最大值将使场景变暗,并可以将较亮的区域转换为变形对象,如 QrCode Monster CN

通常使用最小值0.1或0.2来稍微照亮场景。

最小值为0时,光照贴图的黑色像素将呈现漆黑阴影。

KSamplers(原始和精炼)

IC Raw Ksampler:与其他采样器不同,由于 IC-Light 条件,它从第8步开始而不是从零开始(帧从第8步开始去噪)

例如,结束步骤20

开始步骤于

0将没有光照贴图效果。

5的效果为50%

10则效果为100%

因此,大约3-8是一个很好的测试值。

当生成新背景为 TRUE 时,你可以将值设置为低于5以获得更好的结果

Ksampler Refine:它的工作原理类似于 IC 原始采样后的 Img2Img Refiner。

对于25的结束步骤

开始步骤于

10及以下版本将像原始采样器一样工作,并会为您提供变形对象

15可以像真正的精炼机一样工作

20无法正常工作

超过20及以上会产生混乱的结果

因此,默认16是好的。

面部修复

升级以修复脸部:如果修复脸部后您的脸部不满意,您可以将其升级到大约1.2到1.6以获得更好的脸部。

正面提示:您可以在此处输入面部提示。默认设置为“微笑”。您可以更改它。

面部去噪:使用0.35–0.45左右。在较高的面部上可能会出现渲染不正确的情况,并且还可能出现滑动面部问题。

保存

当所有帧渲染完成后,它们将被导出到 Comfy UI 目录的输出文件夹中。你可以调整输出位置,甚至批量渲染更长的视频。

高级技巧

如果你愿意,可以使用 Comfy Cloud2来运行这个工作流程,它有专门的工作流程页面,所有文档都齐全,一键运行,无需安装任何节点或模型。

工作流地址:

https://drive.google.com/drive/folders/16Aq1mqZKP-h8vApaN4FX5at3acidqPUv

在 RunComfy 中运行此工作流而无需设置:

https://www.runcomfy.com/comfyui-workflows/comfyui-ic-light-workflow-for-video-relighting

视频原地址:https://www.youtube.com/watch?v=q__YTKxtQAE

更新于:1个月前