通义万相发布视频生成模型,可一键创作影视级高清视频

杭州云栖大会今天举行,一系列新动作让外界关注。其中最出彩的莫过于视频生成模型的发布。阿里云CTO周靖人宣布通义万相全面升级,并发布全新视频生成模型,可生成影视级高清视频,可应用于影视创作、动画设计、广告设计等领域。即日起,所有用户可通过通义APP及通义万相官网可免费体验。

据介绍,通义万相首批上线文生视频、图生视频功能,在文生视频功能中,用户输入任意文字提示词,即可生成一段高清视频,支持中英文多语言输入,并可以通过灵感扩写功能智能丰富视频内容表现力,支持16:9、9:16等多种比例生成;在图生视频功能中,支持用户将任意图片转化为动态视频,按照上传的图像比例或预设比例进行生成,同时可以通过提示词来控制视频运动。

现场,阿里云演示了该模型强大的运动生成和概念组合能力,比如,输入“穿着滑冰鞋的小兔子在冰面上灵活移动的可爱场景”,通义万相仅用数分钟就能生成一段高清、逼真的视频。

通义万相视频生成大模型集成了多项创新技术,有效解决画面表现力和大幅度运动等视频生成技术难题。针对运动生成和物理模拟等难点优化算法,实现了大幅度主体运动和运镜控制,并有效模拟真实世界物理特性;设计了高压缩比、高质量视频VAE框架,有效降低视频信息冗余,并保持高质量视频重构能力;同时,基于轻量微调框架和精选数据集优化训练,在中式传统元素、风格化视频生成上表现更好。

去年7月,通义万相图像生成大模型首次亮相,目前已累计生成7500万张图片。云栖大会现场,通义万相宣布视觉生成大模型全面升级为Diffusion Transformer框架,同时结合通义千问复杂提示词解释能力,有效提升画面表现力、语义理解能力、可控生成能力。随着通义万相视频生成模型的发布,通义大模型已覆盖文本生成、图像理解、视频理解、音频理解、图像生成、视频生成等全模态场景。

在早间的云栖大会主论坛上,阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭发表主题演讲时认为,“过去22个月,AI发展的速度超过任何历史时期,但我们依然还处于AGI变革的早期。”

“这一切才刚刚开始,要实现真正的AGI,下一代模型需要具备更大规模、更通用、更泛化的知识体系,同时也将具备更复杂更多层次的逻辑推理能力。”吴泳铭认为,全世界先进模型竞争的投入门槛,将达到数十亿、数百亿美金的级别。AI具备创造能力、帮助人类解决复杂问题的路径清晰可见,也打开了AI在各行业场景中广泛应用的可能性。

作者:徐晶卉

文:徐晶卉图:受访者供图编辑:唐玮婕责任编辑:戎兵

转载此文请注明出处。

打开APP阅读更多精彩内容