当前位置:首页 > 元宇宙 > AI

腾讯混元 Voyager3D 世界模型发布,可生成长距离、世界一致的漫游场景

来源: 责编: 时间:2025-09-05 11:39:01 78观看
导读 9 月 2 日消息,今天,腾讯混元 3D 世界模型系列最新成员 ——HunyuanWorld-Voyager(简称混元 Voyager)正式发布,这也是业界首个支持原生 3D 重建的超长漫游世界模型。官方称,该模型聚焦于 AI 在空间智能领域的应用扩

9 月 2 日消息,今天,腾讯混元 3D 世界模型系列最新成员 ——HunyuanWorld-Voyager(简称混元 Voyager)正式发布,这也是业界首个支持原生 3D 重建的超长漫游世界模型。u1T28资讯网——每日最新资讯28at.com

官方称,该模型聚焦于 AI 在空间智能领域的应用扩展,将为虚拟现实、物理仿真、游戏开发等领域提供高保真的 3D 场景漫游能力。u1T28资讯网——每日最新资讯28at.com

混元 Voyager 突破了传统视频生成在空间一致性和探索范围上的局限,能够生成长距离、世界一致的漫游场景,支持将视频直接导出为 3D 格式。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

据了解,混元 Voyager 3D 输入-3D 输出的特性,与此前已开源的混元世界模型 1.0 高度适配,可进一步扩展 1.0 模型漫游范围,提升复杂场景的生成质量,并可对生成的场景做风格化控制和编辑。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

不仅如此,混元 Voyager 还可支持视频场景重建、3D 物体纹理生成、视频风格定制化生成、视频深度估计等多种 3D 理解与生成应用,展现出空间智能的潜力。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

当前,可交互的视频模型已经展现出在世界模型生成上的潜力。然而,实际应用中(如虚拟现实、物理仿真等)通常需要能够建模的显式 3D 场景,纯视频的生成内容很难为用户提供更加真实的交互形式。另一方面,直接生成 3D 形式的世界场景,虽具备更好的空间结构的一致性和交互应用的拓展性,却受限于 3D 训练数据稀缺与 3D 表征内存效率低下等问题,无法泛化到更多的类别和更大场景中。混元 Voyager 框架创新性地将场景深度预测引入视频生成过程,融合了视频生成与 3D 建模优势,基于相机可控的视频生成技术,从初始场景视图和用户指定相机轨迹中,合成可自由控制视角、空间连贯的 RGB-D 视频(包含 RGB 图像和深度信息的点云视频)。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

用户可通过键盘或者摇杆控制生成对应的视频画面,并通过 3D 空间记忆保持画面的高度一致性,实现与可交互视频模型如 Genie3 等相同的功能。同时,Voyager 还支持将生成视频无损导出 3D 点云,无需依赖 COLMAP 等额外重建工具。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

混元 Voyager 首次通过空间与特征结合的方式,支持原生的 3D 记忆和场景重建,避免了传统后处理带来的延迟和精度损失。同时,在输入端加入 3D 条件保证画面视角精准,输出端直接生成 3D 点云,适配多种应用场景。额外的深度信息还能支持视频场景重建、3D 物体纹理生成、风格化编辑和深度估计等功能。u1T28资讯网——每日最新资讯28at.com

Voyager 还引入了可扩展的世界缓存机制,基于 1.0 模型生成的初始 3D 点云缓存,将其投影到目标相机视图,为扩散模型提供指导。此外,生成的视频帧还会实时更新缓存,形成闭环系统,支持任意相机轨迹,同时维持几何一致性。这不仅扩展了漫游范围,还为 1.0 模型补充新视角内容,提升整体生成质量。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

该模型在斯坦福大学李飞飞团队发布的世界模型基准测试 WorldScore 上位居综合能力首位,超越现有开源方法,在视频生成和 3D 重建任务中均表现出色。在视频生成和视频 3D 重建两个任务上,Voyager 也均取得更好的结果。u1T28资讯网——每日最新资讯28at.com

u1T28资讯网——每日最新资讯28at.com

Voyager 在世界模型排行榜 WorldScore 上,取得了综合能力第一名的成绩 https://huggingface.co/spaces/Howieeeee/WorldScore_Leaderboard

u1T28资讯网——每日最新资讯28at.com

图生视频指标

u1T28资讯网——每日最新资讯28at.com

视频重建指标

u1T28资讯网——每日最新资讯28at.com

和现有开源方法比较,HunyuanWorld-Voyager 可重建出更加精确的 3DGS 场景u1T28资讯网——每日最新资讯28at.com

腾讯混元世界模型系列开源正不断加速。7 月,混元 3D 世界模型 1.0 发布并开源,成为业界首个兼容传统 CG 管线的可漫游世界生成模型。8 月,推出 1.0 Lite 版,降低显存需求,支持消费级显卡部署。仅两周后,针对遮挡视图和探索范围限制,混元团队进一步优化,推出超长漫游世界模型 Voyager。u1T28资讯网——每日最新资讯28at.com

此前,混元已陆续开源业界领先的文生图、视频生成和 3D 生成能力,提供接近商业模型性能的开源模型,混元 3D 系列开源模型下载量位居开源社区榜首。u1T28资讯网——每日最新资讯28at.com

在基础模型方面,混元开源了 MoE 架构的代表性模型混元 large、混合推理模型 Hunyuan-A13B,以及多个面向端侧场景的小尺寸模型,最小仅 0.5B 参数。最新开源的翻译模型 Hunyuan-MT-7B,在国际翻译比赛中斩获 31 个语种中的 30 项冠军。u1T28资讯网——每日最新资讯28at.com

HunyuanWorld-Voyager 现已正式上线,相关技术报告已公开,源代码在 GitHub 和 Hugging Face 上免费开放。u1T28资讯网——每日最新资讯28at.com

项目主页:https://3d-models.hunyuan.tencent.com/world/u1T28资讯网——每日最新资讯28at.com

Github:https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyageru1T28资讯网——每日最新资讯28at.com

Hugging Face:https://huggingface.co/tencent/HunyuanWorld-Voyageru1T28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-27304-0.html腾讯混元 Voyager3D 世界模型发布,可生成长距离、世界一致的漫游场景

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 招聘平台显示 AI 岗月薪下限均值已达 4.7 万元,多家大厂秋招抢人逻辑被颠覆

下一篇: 支持部分独立使用:阿里通义实验室推出开源智能体开发框架 AgentScope 1.0

标签:
  • 热门焦点
  • 内容行业大变天,爆款全靠AI?

    出品 | 微果酱(wjam123456)作者 | 陈出木题图 | 文心一格 AI的发展之快出乎所有人的预料,似乎一夜之间便呼啸而来。无论是资本的风向标,抑或是生活工作的辅助、流量口,还是茶余饭
  • FMIFAwards奖项即将揭晓!

    来源:X增强现实FMIF Awards未来元宇宙创新奖是由未来元宇宙创新论坛、ARinChina以及多家投资机构、媒体、研究院联合发起的一项评选活动。旨在推动新技术的融合与集成低成本
  • 【东方证券】虚拟世界照进现实,元宇宙中有什么? | 元宇宙Meta洞见

    元宇宙的表现形式大多以游戏为起点,并逐渐整合互联网、数字化娱乐、社交网络等功能,长期来看甚至可以整合社会经济与商业活动。元宇宙的发展最关键的部分在于元
  • 元宇宙社交啫喱、希壤爆款迭出,腾讯慌了吗?

    文 | 陈桥辉没想到腾讯超级QQ秀的20周年归来首秀,被一款名不见经传的产品抢了风头。1月15日,一款名为“啫喱”的社交App迅速在各个互联网的社交圈内火爆起来,引起
  • 冰墩墩还能火多久?

    作者:田巧云题图源自北京2022年冬奥会官方微博如果要问2022年的开年明星是谁,冰墩墩当仁不让。几乎所有人都被那个抖雪的动作实力圈粉。在社交媒体的助推,以及日
  • 与元宇宙美少女艺术家的对话

    我最近宣布了我自己的NFT项目,这是我已经工作了几个月的事情。由于我之前只是一个收藏家,拥有自己的项目真的给了我一个新的视角来看待这个领域。我一直欢迎人们
  • 音乐NFT平台里的下一匹黑马是谁?

    NFT 销售额在 2021 年开始暴涨,从 2018 年的仅 4069 万美元的交易量,到 2021 年,NFT 交易量飙升至 442 亿美元以上,并不断刷新记录并达到新的高度。预测到2025 年N
  • 元宇宙专题二:GameFi 深度解析,元宇宙内容雏形显现

    GameFi=Game(游戏)+DEFI(去中心化金融),核心特点为“Play to Earn”。通过技术与去中心化价值观赋能,GameFi 游戏资产化身为NFT 和代币上链,具备了可验证性和流通性;开
  • Ceramic:为Web3.0社交应用打造的中间件

    大家关注老雅痞公众号这么久,对Web3的概念不陌生吧?让我们做一个简短的回顾,Web3主要被描述为去中心化的网络,旨在实现无服务器、去中心化的互联网,即用户掌握自己
Top