当前位置:首页 > 元宇宙 > AI

业界首个,阿里通义万相“首尾帧生视频模型”开源

来源: 责编: 时间:2025-04-20 07:24:39 217观看
导读 4 月 17 日消息,阿里通义万相「首尾帧生视频模型」今日宣布开源,该模型参数量为 14B,号称是业界首个百亿参数规模的开源首尾帧视频模型。它可根据用户指定的开始和结束图片,生成一段能衔接首尾画面的 720p 高清视

4 月 17 日消息,阿里通义万相「首尾帧生视频模型」今日宣布开源,该模型参数量为 14B,号称是业界首个百亿参数规模的开源首尾帧视频模型。uHx28资讯网——每日最新资讯28at.com

它可根据用户指定的开始和结束图片,生成一段能衔接首尾画面的 720p 高清视频,此次升级将能满足用户更可控、更定制化的视频生成需求。uHx28资讯网——每日最新资讯28at.com

uHx28资讯网——每日最新资讯28at.com

用户可在通义万相官网直接免费体验该模型,或在 Github、Hugging Face、魔搭社区下载模型本地部署后进行二次开发。uHx28资讯网——每日最新资讯28at.com

uHx28资讯网——每日最新资讯28at.com

技术介绍

首尾帧生视频比文生视频、单图生视频的可控性更高,但这类模型的训练难度较大,首尾帧视频生成需同时满足以下几点:uHx28资讯网——每日最新资讯28at.com

1. 生成的视频内容要保证和用户输入的两张图像一致uHx28资讯网——每日最新资讯28at.com

2. 能够遵循用户的提示词指令uHx28资讯网——每日最新资讯28at.com

3. 能从给定的首帧自然、流畅过渡到尾帧uHx28资讯网——每日最新资讯28at.com

4. 视频本身动作协调、自然uHx28资讯网——每日最新资讯28at.com

训练及推理优化

基于现有的 Wan2.1 文生视频基础模型架构,通义万相首尾帧生视频模型进一步引入了额外的条件控制机制,通过该机制可实现流畅且精准的首尾帧变换。uHx28资讯网——每日最新资讯28at.com

在训练阶段,团队还构建了专门用于首尾帧模式的训练数据,同时针对文本与视频编码模块、扩散变换模型模块采用了并行策略,这些策略提升了模型训练和生成效率,也保障了模型具备高分辨率视频生成的效果。uHx28资讯网——每日最新资讯28at.com

在推理阶段,为了在有限内存资源的条件下支持高清视频推理,万相首尾帧模型分别采用了模型切分策略以及序列并行策略,在确保推理效果无损的前提下,显著缩短了推理时间。uHx28资讯网——每日最新资讯28at.com

uHx28资讯网——每日最新资讯28at.com

功能升级

基于该模型,用户可完成更复杂、更个性化的视频生成任务,可以实现同一主体的特效变化、不同场景的运镜控制等视频生成。uHx28资讯网——每日最新资讯28at.com

例如,上传相同位置不同时间段的两张外景图片,输入一段提示词,通义万相首尾帧生成模型即可生成一段四季交替变化或者昼夜变化的延时摄影效果视频;上传两张不同画面的场景,还可通过旋转、摇镜、推进等运镜控制衔接画面,在保证视频和预设图片一致性前提下,同时让视频拥有更丰富的镜头。uHx28资讯网——每日最新资讯28at.com

附开源地址:uHx28资讯网——每日最新资讯28at.com

Github:https://github.com/Wan-Video/Wan2.1uHx28资讯网——每日最新资讯28at.com

HuggingFace:https://huggingface.co/Wan-AI/Wan2.1-FLF2V-14B-720PuHx28资讯网——每日最新资讯28at.com

魔搭社区:https://www.modelscope.cn/models/Wan-AI/Wan2.1-FLF2V-14B-720PuHx28资讯网——每日最新资讯28at.com

直接体验入口:https://tongyi.aliyun.com/wanxiang/videoCreationuHx28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-12386-0.html业界首个,阿里通义万相“首尾帧生视频模型”开源

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 谷歌也要“送 AI 进校园”:美国大学生可限时免费订阅 Google One AI Premium 计划

下一篇: 全球首个人形机器人半马 4 月 19 日举办,参赛机器人全阵容发布

标签:
  • 热门焦点
  • 数字人的AB面:在元宇宙中过气,在AIGC中重生

    来源:光锥智能作者:郝 鑫“29800元一年的虚拟主播,号称24小时不停播,月入十几万,实际上却是关键词都不能回复,播了半个月,直播间还因违规被快手封禁,最终投诉无门、退款无果。&
  • 拯救XR,苹果力不从心

    来源 | 光子星球撰文 | 文烨豪 编辑 | 吴先之 苹果终于呈上了它的“答卷”。 北京时间6月6日凌晨,苹果2023年全球开发者大会(WWDC)如期举行。作为苹果CEO库克口中&ld
  • 不同于传统数字经济,元宇宙赋予商业生态更多数字资产价值!

    作者:中科基大数据元宇宙是一个去中心化的开放平台,而为了维护这样的平台,需要建立一个公平的游戏规则,确保每个元宇宙的参与者通过这个规则都可以挣到钱,他们的利益都可以得到保
  • 关于年度热词NFT,除了钱,我们还可以聊点啥?

    每到年底,社交媒体总少不了年度盘点、年度总结、年度热词。如果让你来总结2021年度热词,你会想到什么?柯林斯词典将年度热词颁给了“NFT”,而其理由是:一个缩写词的
  • 元宇宙时代NFT的价值衡量

    有人认为NFT的高昂价格只是炒作的产物,并不具有其对等的价值,但其实NFT并不是空中楼阁,只是区块链数字分类账中的一种形式。诚然,目前的NFT仍处于灰色地带,相关的法
  • 从NFT顶级公链到Web3.0基础设施:带你了解不一样的Flow

    对于大部分年轻人来说,刚刚过去的春节有一个词语突然成为了品牌宣传的流行语,作为从NFT中衍生出来的“数字藏品”一时间获得了不少品牌青睐,他们纷纷推出自己的数
  • 借VR产业东风,江西抢滩布局“元宇宙”

    自2016年起就在VR上倾注了大量精力的江西省,迅速搭上了“元宇宙”。VR、AR等技术是通往元宇宙的关键接口,使人们可以在数字空间和物理空间自由穿梭。自2016年起
  • 从4个方面解析2022年加密行业趋势

    作者:去月球基础设施瓶颈仍然存在尽管2021年公链基础设施之间的竞争显著升温,但关键瓶颈仍需解决。例如,以太坊作为DApp开发的顶级公链,仍然遭受网络拥塞和高额交
  • 元宇宙不完全是想出来的,而是实打实做出来的

    沈阳强调,元宇宙不完全是想出来的,而是靠实打实做出来的;互联网向三维化升级是已经明确的大方向,这意味着大量的资金和技术会持续涌入。跨入2022年,元宇宙并没有“
Top