Jerry Davos大神教程:用IC灯光变换器重塑视频光照,背景随意换!
最近,Jerry Davos大神在YouTube发布了最新教程,详细给大家讲解了如何使用 Comfy UI 来改变视频的光线效果,并且进行渲染。
安装与准备
首先,你需要下载Jerry Davos大神的工作流程文件,链接在文末。下载后,直接拖入 Comfy UI 中,它会提示你缺少的节点。别担心,使用管理器一键安装,简单快捷。
如果安装过程中遇到问题,Jerry Davos大神也提供了帮助链接,点击即可获得解决方案。以下是Jerry Davos大神详细教程:
工作流程概览
工作流程被巧妙地分成了几个小组,每个小组都有其独特的功能,从输入设置到输出保存,一目了然。
输入设置:包括进入环设置和源视频设置。
动画差异组:用于调整光线效果。
合成组:IC 和光线映射的合成。
案例采样器组:控制渲染图像的步数。
细化器:提高渲染分辨率。
提示输入:描述你的图像和新光线条件。
输入设置
这里有5个设置:
采样器步骤:它决定了 KSampler 渲染图像所采取的总步骤数。它不应更改。[默认值26]
细节增强器:它可增强最终渲染中的细微细节。[使用0.1至1之间的值]
种子:它控制每个 KSampler 的世代种子。
采样器 CFG:控制 KSampler 的 CFG 值。
精炼升级:其作用类似于高分辨率修复值。[使用1.1–1.6可获得最佳效果]
提示输入
正面提示:输入最能描述新灯光下图像的提示。
负面提示:配置为提供最佳结果。请随意编辑。
剪辑文本编码节点:它有助于对文本进行编码以最大程度地提高质量。将其保留为“完整”
模特和 Loras
检查点:选择任何逼真的 SD1.5模型以获得准确的结果。选择任何 SD1.5模型以获得风格化结果。
Loras:[可选] 如果需要,可以从列表中选择任何 loras。不要全力使用。使用0.5-0.7左右可获得最佳效果
基本设置解析
每个设置都有其作用,比如案例采样器步数决定了渲染图像的详细程度,细节增强器则提升最终渲染的小细节。
种子:控制每次案例采样器的生成种子。
细化器:类似于高分辨率修复,提升画质。
提示输入:描述你的图像,系统已配置最佳结果。
模型与视频选择
选择你的 V 模型,无论是现实风格还是卡通风格,都可以。Loras 强度建议设置在50% 到70% 之间,以达到最佳效果。
视频上传与设置
上传你的源视频,注意文件大小不要超过100MB,时长控制在15到20秒内,以免内存不足。
光线映射视频
上传你的光线映射视频,确保其时长不短于源视频,否则会出错。
渲染设置
调整渲染分辨率,无论是风景还是肖像,最大分辨率都不会超过设定值。建议使用800到1200的值,以达到最佳效果。
光照贴图
上传灯光图:点击并上传您想要的灯光图视频。
它将自动缩放到源视频的尺寸
确保它长于或等于源视频的尺寸,否则会出现错误。
Light Map ControlNet:此光照图也用作使用此模型的Light controlnet
使用基于光线的控制网络模型,注意 CN 强度值不要过高,以免过曝或光线过渡过于锐利。
动画差异
加载 Animatediff 模型:您可以使用任何模型来获得不同的效果。
Animatediff 其他节点:您需要对 animatediff 有一些了解才能更改其他设置 [ 您可以在这里找到它们]
设置 SMZ:这是用于提高模型管道质量的节点,所有设置都已预定义以便运行良好。
光照图和 IC 调节的组成
上面的顶部调整节点(灰色)用于控制 IC 光调节的调节,以降低对比度和控制亮度。
生成新背景:禁用时,它将原始图像输入并尝试根据“背景提示”(如果在肯定提示框中存在)映射与源视频背景类似的细节
[1girl、阳光、日落、白衬衫、黑色短裤、室内、房间]
当启用生成新背景时:它将根据深度生成新背景
[1女孩,阳光,日落,背景中的自然风光,天空]
此外,深度控制网的强度和结束百分比降低至45%,以在背景中形成开放区域。
顶部光照图:当为 True 时,光照图将位于源视频的顶部,并且更占主导地位;当为 False 时,源将位于顶部,更占主导地位且更亮
主题影响区域:2种混合模式效果最佳
根据顶部或底部的光照图使阴影区域变暗。
它会根据顶部或底部的光照图来增亮阴影区域
混合因子用于强度。
整体调整:这将从上方控制最终处理的光图的亮度、对比度、伽马和色调。
图像重映射:使用此节点控制整个图像的整体亮度和暗度。
最小值越高,场景越亮
较低的最大值将使场景变暗,并可以将较亮的区域转换为变形对象,如 QrCode Monster CN
通常使用最小值0.1或0.2来稍微照亮场景。
最小值为0时,光照贴图的黑色像素将呈现漆黑阴影。
KSamplers(原始和精炼)
IC Raw Ksampler:与其他采样器不同,由于 IC-Light 条件,它从第8步开始而不是从零开始(帧从第8步开始去噪)
例如,结束步骤20
开始步骤于
0将没有光照贴图效果。
5的效果为50%
10则效果为100%。
因此,大约3-8是一个很好的测试值。
当生成新背景为 TRUE 时,你可以将值设置为低于5以获得更好的结果
Ksampler Refine:它的工作原理类似于 IC 原始采样后的 Img2Img Refiner。
对于25的结束步骤
开始步骤于
10及以下版本将像原始采样器一样工作,并会为您提供变形对象
15可以像真正的精炼机一样工作
20无法正常工作
超过20及以上会产生混乱的结果
因此,默认16是好的。
面部修复
升级以修复脸部:如果修复脸部后您的脸部不满意,您可以将其升级到大约1.2到1.6以获得更好的脸部。
正面提示:您可以在此处输入面部提示。默认设置为“微笑”。您可以更改它。
面部去噪:使用0.35–0.45左右。在较高的面部上可能会出现渲染不正确的情况,并且还可能出现滑动面部问题。
保存
当所有帧渲染完成后,它们将被导出到 Comfy UI 目录的输出文件夹中。你可以调整输出位置,甚至批量渲染更长的视频。
高级技巧
如果你愿意,可以使用 Comfy Cloud2来运行这个工作流程,它有专门的工作流程页面,所有文档都齐全,一键运行,无需安装任何节点或模型。
工作流地址:
https://drive.google.com/drive/folders/16Aq1mqZKP-h8vApaN4FX5at3acidqPUv
在 RunComfy 中运行此工作流而无需设置:
https://www.runcomfy.com/comfyui-workflows/comfyui-ic-light-workflow-for-video-relighting
视频原地址:https://www.youtube.com/watch?v=q__YTKxtQAE
更新于:1个月前