Open-Sora 1.1发布 视频质量提升,生成时长延长至21秒

2024-05-28 12:07
摘要:Open-Sora1.1发布,带来了显著的提升,尤其是在视频生成的质量和时长方面。新版本模型能够生成最长约为21秒的视频,使用更高质量的视觉数据和字幕进行训练,从而使其更好地理解世界的运作。此外,优化后的CausalVide..

Open-Sora1.1发布,带来了显著的提升,尤其是在视频生成的质量和时长方面。新版本模型能够生成最长约为21秒的视频,使用更高质量的视觉数据和字幕进行训练,从而使其更好地理解世界的运作。此外,优化后的CausalVideoVAE架构提高了性能和推理效率。

主要更新和特点:

视频生成质量和时长提升:新版本在视频生成的质量和时长方面都有显著提升,现在能够生成最长约为21秒的视频。

高质量视觉数据和字幕训练:通过使用更高质量的视觉数据和字幕进行训练,模型对世界运作的理解得到了增强。

CausalVideoVAE架构优化:对CausalVideoVAE架构进行了优化,这不仅提升了视频生成的性能,还提高了推理效率。

与Sora基础模型性能相似:实验结果显示,v1.1.0版本的性能与Sora基础模型相似,这证明了版本演化与Sora所展示的缩放定律的一致性。

新版本的开源释放对社区的视频生成发展具有重要意义。开源的代码、数据和模型为社区提供了方便的后续开发条件。

官方项目页介绍了对CausalVideoVAE的一系列改进,包括模型结构的优化和推理技巧的引入,进一步提升了模型的性能和效率。

Open-Sora-Plan v1.1.0的这些更新和改进,展示了视频生成技术在理解力、性能和效率方面的持续进步,同时也为未来的研究和开发奠定了基础。

项目地址:https://top.aibase.com/tool/open-sora-plan-v1-1-0

在线体验地址:https://huggingface.co/spaces/LanguageBind/Open-Sora-Plan-v1.1.0

更新于:6个月前