当前位置:首页 > 元宇宙 > AI

业界首个,阿里通义万相“首尾帧生视频模型”开源

来源: 责编: 时间:2025-04-20 07:24:39 160观看
导读 4 月 17 日消息,阿里通义万相「首尾帧生视频模型」今日宣布开源,该模型参数量为 14B,号称是业界首个百亿参数规模的开源首尾帧视频模型。它可根据用户指定的开始和结束图片,生成一段能衔接首尾画面的 720p 高清视

4 月 17 日消息,阿里通义万相「首尾帧生视频模型」今日宣布开源,该模型参数量为 14B,号称是业界首个百亿参数规模的开源首尾帧视频模型。mpb28资讯网——每日最新资讯28at.com

它可根据用户指定的开始和结束图片,生成一段能衔接首尾画面的 720p 高清视频,此次升级将能满足用户更可控、更定制化的视频生成需求。mpb28资讯网——每日最新资讯28at.com

mpb28资讯网——每日最新资讯28at.com

用户可在通义万相官网直接免费体验该模型,或在 Github、Hugging Face、魔搭社区下载模型本地部署后进行二次开发。mpb28资讯网——每日最新资讯28at.com

mpb28资讯网——每日最新资讯28at.com

技术介绍

首尾帧生视频比文生视频、单图生视频的可控性更高,但这类模型的训练难度较大,首尾帧视频生成需同时满足以下几点:mpb28资讯网——每日最新资讯28at.com

1. 生成的视频内容要保证和用户输入的两张图像一致mpb28资讯网——每日最新资讯28at.com

2. 能够遵循用户的提示词指令mpb28资讯网——每日最新资讯28at.com

3. 能从给定的首帧自然、流畅过渡到尾帧mpb28资讯网——每日最新资讯28at.com

4. 视频本身动作协调、自然mpb28资讯网——每日最新资讯28at.com

训练及推理优化

基于现有的 Wan2.1 文生视频基础模型架构,通义万相首尾帧生视频模型进一步引入了额外的条件控制机制,通过该机制可实现流畅且精准的首尾帧变换。mpb28资讯网——每日最新资讯28at.com

在训练阶段,团队还构建了专门用于首尾帧模式的训练数据,同时针对文本与视频编码模块、扩散变换模型模块采用了并行策略,这些策略提升了模型训练和生成效率,也保障了模型具备高分辨率视频生成的效果。mpb28资讯网——每日最新资讯28at.com

在推理阶段,为了在有限内存资源的条件下支持高清视频推理,万相首尾帧模型分别采用了模型切分策略以及序列并行策略,在确保推理效果无损的前提下,显著缩短了推理时间。mpb28资讯网——每日最新资讯28at.com

mpb28资讯网——每日最新资讯28at.com

功能升级

基于该模型,用户可完成更复杂、更个性化的视频生成任务,可以实现同一主体的特效变化、不同场景的运镜控制等视频生成。mpb28资讯网——每日最新资讯28at.com

例如,上传相同位置不同时间段的两张外景图片,输入一段提示词,通义万相首尾帧生成模型即可生成一段四季交替变化或者昼夜变化的延时摄影效果视频;上传两张不同画面的场景,还可通过旋转、摇镜、推进等运镜控制衔接画面,在保证视频和预设图片一致性前提下,同时让视频拥有更丰富的镜头。mpb28资讯网——每日最新资讯28at.com

附开源地址:mpb28资讯网——每日最新资讯28at.com

Github:https://github.com/Wan-Video/Wan2.1mpb28资讯网——每日最新资讯28at.com

HuggingFace:https://huggingface.co/Wan-AI/Wan2.1-FLF2V-14B-720Pmpb28资讯网——每日最新资讯28at.com

魔搭社区:https://www.modelscope.cn/models/Wan-AI/Wan2.1-FLF2V-14B-720Pmpb28资讯网——每日最新资讯28at.com

直接体验入口:https://tongyi.aliyun.com/wanxiang/videoCreationmpb28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-12386-0.html业界首个,阿里通义万相“首尾帧生视频模型”开源

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 谷歌也要“送 AI 进校园”:美国大学生可限时免费订阅 Google One AI Premium 计划

下一篇: 全球首个人形机器人半马 4 月 19 日举办,参赛机器人全阵容发布

标签:
  • 热门焦点
  • 错过了BRC20还有eths,eth铭文协议

    来源:三头鸟NFT大家好,我是鸟哥,了解鸟哥的人都知道鸟哥擅撸空投,说实话撸毛虽然回报大但周期还是有点长的,所以除了撸毛我们自己也在研究早期项目,打新,比如BRC20协议ordi当时就有
  • 超级碗的加密时刻:是主流信号还是“网络超级碗2.0”?

    2 月 13 日,美东时间 18:30,有着“美国春晚”之誉的超级碗(Super Bowl)落下帷幕。超级碗是美国国家美式足球联盟(也称为国家橄榄球联盟)的年度冠军赛,胜者将成为“世
  • 美国一区块链风投公司宣布成立2.5亿美元web3投资新基金

    No.1 俄罗斯财政部长: 在俄罗斯禁止比特币就如禁止互联网一样2月16日消息,俄罗斯财政部长安东·西卢安诺夫(Anton Siluanov)表示,在俄罗斯禁止加密货币就跟禁止互
  • 音乐NFT平台里的下一匹黑马是谁?

    NFT 销售额在 2021 年开始暴涨,从 2018 年的仅 4069 万美元的交易量,到 2021 年,NFT 交易量飙升至 442 亿美元以上,并不断刷新记录并达到新的高度。预测到2025 年N
  • 想进入web3.0?来看看哪些工作适合你

    随着对加密货币需求的增加,加密领域的工作的数量也在增加。以下是一些非技术性加密货币工作简介。加密货币在主流市场获得的可信度提升。导致区块链领域的求职
  • 知识产权可能在元宇宙中“消失”?

    开篇老雅痞先来划重点:一些公司开始采取积极的方式来保护他们在元宇宙的知识产权。耐克、爱马仕和米拉麦克斯最近提起诉讼,声称NFT侵犯了他们的知识产权。Inside
  • 元宇宙平台会是上世纪末的互联网吗?

    “元宇宙”火了好几个月,互联网大厂忙于布局,资本市场热烈追捧。然而很多人还是看不明白,更多的人觉得这是一场泡沫,一场骗局。一开始接触这个怪里怪气的名词,感觉
  • Steam 禁止NFT和加密货币原因曝光

    近日,Valve(V社)总裁Gabe Newell接受PC Gamer采访时解释了该平台禁止NFT和加密货币的原因。早在2021年10月18日,PC Gamer就报道Steam推出的新规:使用区块链或允许交
  • 顶级NFT收藏家Gary Vaynerchuk 与百威推出NFT

    特别声明,我们的文章不作为投资建议,请各位读者独立思考,还是那句话:投资要慎之又慎,谁也不要相信。Gary Verneychuk 和百威 NFT 之一。由 VeynerNFT 提供百威推出
Top