腾讯视频运动控制器MotionCtrl正式开源

2023-12-28 12:07
摘要:腾讯日前发布的视频运动控制器MotionCtrl已经正式开源了,并且试用效果非常出色。该项目可以高度自定义相机镜头和画面物体在3D 空间运动轨迹,实现更精细和多样化的运动控制。Demo:https://huggingface.co/spaces/Te..

腾讯日前发布的视频运动控制器MotionCtrl已经正式开源了,并且试用效果非常出色。该项目可以高度自定义相机镜头和画面物体在3D 空间运动轨迹,实现更精细和多样化的运动控制。

Demo:https://huggingface.co/spaces/TencentARC/MotionCtrl

项目地址:https://top.aibase.com/tool/motionctrl

在Demo中包含多步选择,相对比较复杂。用户需要首先选择控制镜头还是物体,也可以同时控制两者。然后需要选择对应的姿势,虽然没有开放自定义,但选择项相当丰富。最后只需要输入提示词,等待生成即可。

MotionCtrl能够独立有效地控制摄像机运动和物体运动,实现更精细和多样化的运动控制。其架构考虑了摄像机运动和物体运动的固有属性,通过CMCM和OMCM模块分别处理这两种运动类型。这使得在生成的视频中可以实现更细致的运动调整,并灵活地组合这两种运动类型,提高了控制的多样性。

该项目的优势在于,它可以有效地独立控制摄像机和物体的运动,实现更精细的运动控制,促进两种类型运动的灵活多样组合。此外,该技术的运动条件由摄像机的姿势和轨迹确定,与视频中物体的外观或形状影响最小。

更新于:10个月前