腾讯推全新图生视频模型Follow-Your-Pose-v2 可生成多人运动视频
腾讯混元团队联合中山大学、香港科技大学推出了一款全新的图生视频模型,名为Follow-Your-Pose-v2。这一模型在视频生成领域实现了从单人到多人的跨越,能够处理人物合照,让所有人都能同时在视频中动起来。
主要亮点:
支持多人视频动作生成:在推理耗时更少的情况下,实现多人视频动作的生成。
强泛化能力:无论年龄、服装、人种、背景杂乱程度或动作复杂性如何,都能生成高质量视频。
日常生活照/视频可用:模型训练及生成可以使用日常生活照(包括抓拍)或视频,无需寻找高质量图片/视频。
正确处理人物遮挡:面对单张图片上多个人物躯体相互遮挡的问题,能生成具有正确前后关系的遮挡画面。
技术实现方面:
模型利用光流指导器引入背景光流信息,即使在相机抖动或背景不稳定的情况下,也能生成稳定背景动画。
通过推理图指导器和深度图指导器,模型能更好地理解图片中的人物空间信息和多角色的空间位置关系,有效解决多角色动画和身体遮挡问题。
评估与比较:
团队提出了一个新的基准Multi-Character,包含约4000帧多角色视频,用以评估多角色生成效果。
实验结果显示,Follow-Your-Pose-v2在两个公共数据集(TikTok和TED演讲)和7个指标上的性能均优于最新技术35%以上。
应用前景:
图像到视频生成技术在电影内容制作、增强现实、游戏制作及广告等多个行业有着广泛的应用前景,是2024年备受关注的AI技术之一。
其他信息:
腾讯混元团队还公布了文生图开源大模型(混元DiT)的加速库,大幅提升推理效率,生图时间缩短75%。
混元DiT模型的使用门槛降低,用户可以在Hugging Face的官方模型库中用三行代码调用模型。
论文地址:https://arxiv.org/pdf/2406.03035
模型地址:https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
更新于:2个月前