7月26日消息，智谱AI今日宣布对其视频生成模型进行了全面升级，并正式推出了新一代产品——CogVideoX。据悉，CogVideoX模型已在智谱清言的PC端、移动应用端以及小程序端全面上线，所有C端用户均可通过智谱清言的AI视频生成功能“清影”(Ying)免费体验AI文本生成视频和图像生成视频的服务。
据ITBEAR科技资讯了解，CogVideoX的核心技术特点显著。为解决内容连贯性问题，智谱AI自主研发了一套高效的三维变分自编码器结构(3DVAE)。该结构能够将原始视频数据压缩至原始大小的2%，显著降低了视频扩散生成模型的训练成本和难度。同时，结合3DRoPE位置编码模块，该技术在时间维度上提升了帧间关系的捕捉能力，从而建立了视频中的长期依赖关系。
在可控性方面，智谱AI打造了一款端到端的视频理解模型，该模型能够为大量视频数据生成描述，增强了模型对文本的理解和对指令的遵循能力。这一创新确保了生成的视频更加符合用户的输入需求，并能够处理超长且复杂的prompt指令。
此外，CogVideoX模型采纳了一种将文本、时间、空间三维一体融合的transformer架构。该架构摒弃了传统的crossattention模块，设计了Expert Block以实现文本与视频两种不同模态空间的对齐，并通过FullAttention机制优化模态间的交互效果。
“清影”作为智谱AI推出的AI视频生成功能，其主要特点包括快速生成、高效的指令遵循能力、内容连贯性以及画面调度灵活性。用户只需30秒即可完成6秒视频的生成，即使是复杂的prompt，“清影”也能准确理解并执行。同时，生成的视频能够较好地还原物理世界中的运动过程，镜头也能流畅地跟随画面中的主体移动。
智谱大模型开放平台bigmodel.cn也已部署了“清影”。企业和开发者可通过API调用式体验并使用“清影”的文本生成视频和图像生成视频功能。这一举措无疑将进一步推动AI视频生成技术的应用与发展。
本文链接：http://www.28at.com/showinfo-45-6118-0.html智谱AI新推“清影”工具：30秒生成视频，免费试用！
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
