视频编辑工具Fairy 通过自然语言即可转换风格

摘要：Fairy是由Meta GenAI开发的一个视频编辑工具，它可以通过自然语言指令对视频进行编辑，包括风格转换和物体或角色变换等。该工具的速度非常快，能够在14秒内生成120帧的512×384视频。项目地址:https://top.aibase.co..

Fairy是由Meta GenAI开发的一个视频编辑工具，它可以通过自然语言指令对视频进行编辑，包括风格转换和物体或角色变换等。该工具的速度非常快，能够在14秒内生成120帧的512×384视频。

项目地址:https://top.aibase.com/tool/fairy

论文地址:https://arxiv.org/pdf/2312.13834.pdf

Fairy的主要功能特点包括风格转换和物体或角色变换。通过Fairy，用户可以将视频中的图像风格转换为不同的艺术风格，例如梵高或毕加索风格，同时保持视频的原始内容和结构。此外，Fairy还可以将视频中的特定物体或角色转换成其他形式，例如将人物转换成木雕或金属骑士雕塑。

除此之外，Fairy还能够处理相对较长的视频，而不会遇到内存问题。在进行风格转换或物体变换时，Fairy能够保留视频中的重要细节，确保编辑后的视频仍然保持高质量和真实感。同时，Fairy特别注重在编辑过程中保持视频的时间连贯性，确保从一帧到下一帧的过渡自然和流畅。

技术细节方面，Fairy采用了一种基于锚点的跨帧注意力机制，能够在视频帧之间隐式地传播扩散特征，从而确保时间上的连贯性和高保真度的视频合成。

此外，Fairy还使用了基于扩散模型的方法来生成或编辑视频帧，以及特殊的数据增强策略，使模型能够更好地处理视频中的自然运动和变换。同时，Fairy的设计支持并行计算，使其能够在多个GPU上同时处理视频，从而显著提高处理速度。