智源发布Emu3：原生多模态世界模型，能否一统图像文本视频？

【ITBEAR】智源研究院近期推出了全新的原生多模态世界模型——Emu3，该模型在文本、图像和视频三种模态数据的理解和生成上展现出卓越能力。其独特之处在于，仅需基于下一个token预测，无需依赖扩散模型或组合方法，便能实现多模态数据的统一处理。HcJ28资讯网——每日最新资讯28at.com

HcJ28资讯网——每日最新资讯28at.com

在图像生成任务中，Emu3的表现优于SD-1.5与SDXL模型，获得了人类偏好评测的高度认可。同时，在视觉语言理解任务中，Emu3也展现出了强大的实力，其对于12项基准测试的平均得分超越了LlaVA-1.6。在视频生成任务中，Emu3同样表现出色，VBench基准测试得分高于OpenSora 1.2。HcJ28资讯网——每日最新资讯28at.com

Emu3配备了一个强大的视觉tokenizer，能够将视频和图像转换为离散token，这些token可以与文本tokenizer输出的离散token一同送入模型中。这一特性为Any-to-Any任务提供了更加统一的研究范式。HcJ28资讯网——每日最新资讯28at.com

HcJ28资讯网——每日最新资讯28at.com

Emu3的研究结果充分证明了下一个token预测作为多模态模型范式的强大潜力，它不仅能实现超越语言本身的大规模多模态学习，还能在多模态任务中取得先进性能。目前，Emu3已开源关键技术和模型，为相关研究提供了有力支持。HcJ28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-16-126514-0.html智源发布Emu3：原生多模态世界模型，能否一统图像文本视频？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 中国PCT国际专利申请量：连续五年稳坐全球榜首！

下一篇： 索泰辟谣：印尼工厂未量产RTX 5090，视频实为4070 Ti Super