9 月 2 日消息，今天，腾讯混元 3D 世界模型系列最新成员 ——HunyuanWorld-Voyager（简称混元 Voyager）正式发布，这也是业界首个支持原生 3D 重建的超长漫游世界模型。
官方称，该模型聚焦于 AI 在空间智能领域的应用扩展，将为虚拟现实、物理仿真、游戏开发等领域提供高保真的 3D 场景漫游能力。
混元 Voyager 突破了传统视频生成在空间一致性和探索范围上的局限，能够生成长距离、世界一致的漫游场景，支持将视频直接导出为 3D 格式。
据了解，混元 Voyager 3D 输入-3D 输出的特性，与此前已开源的混元世界模型 1.0 高度适配，可进一步扩展 1.0 模型漫游范围，提升复杂场景的生成质量，并可对生成的场景做风格化控制和编辑。
不仅如此，混元 Voyager 还可支持视频场景重建、3D 物体纹理生成、视频风格定制化生成、视频深度估计等多种 3D 理解与生成应用，展现出空间智能的潜力。
当前，可交互的视频模型已经展现出在世界模型生成上的潜力。然而，实际应用中（如虚拟现实、物理仿真等）通常需要能够建模的显式 3D 场景，纯视频的生成内容很难为用户提供更加真实的交互形式。另一方面，直接生成 3D 形式的世界场景，虽具备更好的空间结构的一致性和交互应用的拓展性，却受限于 3D 训练数据稀缺与 3D 表征内存效率低下等问题，无法泛化到更多的类别和更大场景中。混元 Voyager 框架创新性地将场景深度预测引入视频生成过程，融合了视频生成与 3D 建模优势，基于相机可控的视频生成技术，从初始场景视图和用户指定相机轨迹中，合成可自由控制视角、空间连贯的 RGB-D 视频（包含 RGB 图像和深度信息的点云视频）。
用户可通过键盘或者摇杆控制生成对应的视频画面，并通过 3D 空间记忆保持画面的高度一致性，实现与可交互视频模型如 Genie3 等相同的功能。同时，Voyager 还支持将生成视频无损导出 3D 点云，无需依赖 COLMAP 等额外重建工具。
混元 Voyager 首次通过空间与特征结合的方式，支持原生的 3D 记忆和场景重建，避免了传统后处理带来的延迟和精度损失。同时，在输入端加入 3D 条件保证画面视角精准，输出端直接生成 3D 点云，适配多种应用场景。额外的深度信息还能支持视频场景重建、3D 物体纹理生成、风格化编辑和深度估计等功能。
Voyager 还引入了可扩展的世界缓存机制，基于 1.0 模型生成的初始 3D 点云缓存，将其投影到目标相机视图，为扩散模型提供指导。此外，生成的视频帧还会实时更新缓存，形成闭环系统，支持任意相机轨迹，同时维持几何一致性。这不仅扩展了漫游范围，还为 1.0 模型补充新视角内容，提升整体生成质量。
该模型在斯坦福大学李飞飞团队发布的世界模型基准测试 WorldScore 上位居综合能力首位，超越现有开源方法，在视频生成和 3D 重建任务中均表现出色。在视频生成和视频 3D 重建两个任务上，Voyager 也均取得更好的结果。
和现有开源方法比较，HunyuanWorld-Voyager 可重建出更加精确的 3DGS 场景
腾讯混元世界模型系列开源正不断加速。7 月，混元 3D 世界模型 1.0 发布并开源，成为业界首个兼容传统 CG 管线的可漫游世界生成模型。8 月，推出 1.0 Lite 版，降低显存需求，支持消费级显卡部署。仅两周后，针对遮挡视图和探索范围限制，混元团队进一步优化，推出超长漫游世界模型 Voyager。
此前，混元已陆续开源业界领先的文生图、视频生成和 3D 生成能力，提供接近商业模型性能的开源模型，混元 3D 系列开源模型下载量位居开源社区榜首。
在基础模型方面，混元开源了 MoE 架构的代表性模型混元 large、混合推理模型 Hunyuan-A13B，以及多个面向端侧场景的小尺寸模型，最小仅 0.5B 参数。最新开源的翻译模型 Hunyuan-MT-7B，在国际翻译比赛中斩获 31 个语种中的 30 项冠军。
HunyuanWorld-Voyager 现已正式上线，相关技术报告已公开，源代码在 GitHub 和 Hugging Face 上免费开放。
项目主页：https://3d-models.hunyuan.tencent.com/world/
Github：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
Hugging Face：https://huggingface.co/tencent/HunyuanWorld-Voyager
本文链接：http://www.28at.com/showinfo-45-27304-0.html腾讯混元 Voyager3D 世界模型发布，可生成长距离、世界一致的漫游场景
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
