综艺后期狂喜:编辑一帧,整个视频跟着变!比LNA渲染快5倍,Adobe联合出品

2023-07-23 12:06
摘要:前不久跑男为了让“kunkun”原地消失,后期只能一帧一帧的抠图。现在,只要编辑一帧,整个视频就跟着变!就是点点kunkun,整集就自动消失的那种(手动狗头)。Adobe Research和英属哥伦比亚大学的研究人员发现,使用I..

前不久跑男为了让“kunkun”原地消失,后期只能一帧一帧的抠图。

现在,只要编辑一帧,整个视频就跟着变!

就是点点kunkun,整集就自动消失的那种(手动狗头)。

Adobe Research和英属哥伦比亚大学的研究人员发现,使用INVE(交互式神经视频编辑,只需在单帧上“画笔涂鸦”,就能自动应用改动到整个视频中。

不仅可以编辑视频中的对象并保留空间和光影关系,甚至可以编辑移动对象的纹理色彩

网友惊呼:太牛了!

交互式神经视频编辑

INVE(Interactive Neural Video Editing)是一种实时视频编辑解决方案。

研究团队受到分层神经图集(LNA)的研究启发。测试发现,通过使用INVE,可以将稀疏帧编辑一致地传播到整个视频剪辑,辅助视频编辑过程。

视频中的场景通常由非静态背景和一个或多个前景物体组成,运动轨迹也会不同。

早期的2D方法需要独立编辑每一帧,并使用帧间跟踪来协调整个视频。

假如我们要把这个小狗头像放在车门上,按照传统方式,视频中车是往前移动的,为避免不出现溢出效果,就需要一帧一帧训练和测试反复编辑。

这种方式费时费力不说,还容易导致明显的视觉伪影

而最近发展起来的分层神经图集(LNA)方法,可以通过一组分层神经网络2D图集对单个训练和测试,达到编辑整个视频的效果。

虽避免了逐帧编辑,但也有一些问题,比如处理速度较慢、对某些编辑用例支持不足。

因此,研究团队基于LNA方法,通过学习图像图集和图像之间的双向函数映射,并引入矢量化编辑,使得在图集和图像中一致编辑成为可能。

同时,采用多分辨率哈希编码来改善模型的收敛速度。

如何实现

研究团队基于光流提取算法RAFT,在包含70帧且分辨率为768×432的视频上训练和测试模型。

首先,团队在每个训练批次中随机采样了10,000个视频像素,然后设定了一个模型参数值。

通过将GPU优化的Fully Fused MLP架构引入,仅迭代大约12,000个次数就完成训练,相比于LNA的300,000个迭代次数要少得多。

测试显示该方法在单个NVIDIA RTX4090GPU上的渲染速度为24.81FPS,对比LNA的渲染速度5.34FPS,渲染速度快了近5倍。

经过相同数量的迭代训练,团队模型的重建、流场损失都比LNA更快地收敛。

此外,为实现点跟踪,团队选择逆映射的方法,允许添加跟踪单个/少数点的刚性纹理。

团队提出“矢量化素描技术”,将多边形链直接映射到图集中,更精确地控制线条,从而减少计算成本并避免有视觉伪影。

再通过分层编辑,允许在图集之上叠加多个可编辑图层,使每个图层都可独立访问和编辑。

分层编辑支持多种类型的编辑,包括画笔涂鸦、局部调整、纹理编辑。

比如画笔涂鸦,就可以直接使用画笔工具草图涂鸦。

比如纹理编辑,可以导入外部图形,跟踪和变形的运动对象。

研究团队

作者团队由来自Adobe Research、英属哥伦比亚大学、AI Vector研究所和CIFAR AI组成。

第一作者是Jiahui Huang,目前是Adobe Research的研究工程师,硕士毕业于英属哥伦比亚大学。

其他作者包括Kwang Moo Yi、Oliver Wang和Joon Young Lee,整个团队研究方向主要也是在计算机视觉、机器学习和视频编辑领域。

论文地址已贴,感兴趣的可以去看看。

论文传送门 :

https://arxiv.org/abs/2307.07663

参考链接:

[1]https://twitter.com/_akhaliq/status/1681162394393886720/

[2]https://gabriel-huang.github.io/inve/

更新于:2023-07-23 12:06