Token-Shuffle突破！自回归模型也能高效生成高清图像

近日，科技新闻界传来一则关于meta AI创新进展的报道。据报道，meta AI研发了一种名为Token-Shuffle的新方法，旨在解决自回归（AR）模型在生成高分辨率图像时所面临的挑战。q0428资讯网——每日最新资讯28at.com

自回归模型是一种在时间序列分析中广泛应用的统计方法，它基于历史数据预测未来值。近年来，这种方法在语言生成领域取得了显著成就，并逐渐应用于图像合成。然而，在处理高分辨率图像时，AR模型遇到了瓶颈。与文本生成相比，图像合成需要处理数千个token，导致计算成本急剧增加，限制了AR模型在精细图像生成中的应用。q0428资讯网——每日最新资讯28at.com

尽管扩散模型在高分辨率图像生成方面表现出色，但其复杂的采样过程和较慢的推理速度也成为其应用的局限。因此，meta AI推出的Token-Shuffle方法显得尤为重要。q0428资讯网——每日最新资讯28at.com

Token-Shuffle的核心机制在于解决token效率问题。该方法通过识别多模态大语言模型（MLLMs）中视觉词汇的维度冗余，提出了一种创新策略：在Transformer处理前，将空间上相邻的视觉token沿通道维度合并，推理后再恢复原始空间结构。这种token融合机制不仅降低了计算成本，还保持了视觉质量，使自回归模型能够高效处理最高达2048×2048分辨率的图像。q0428资讯网——每日最新资讯28at.com

具体来说，Token-Shuffle包括两个关键步骤：token-shuffle和token-unshuffle。在输入准备阶段，通过多层感知机（MLP）将空间相邻的token压缩为单个token，从而减少token数量。以窗口大小s为例，token数量可减少到原来的s²分之一，显著降低了Transformer的计算量。q0428资讯网——每日最新资讯28at.com

Token-Shuffle还引入了针对自回归生成的classifier-free guidance（CFG）调度器，动态调整引导强度，优化文本-图像对齐效果。这一创新不仅提升了图像生成的质量，还为AR模型在高分辨率图像生成领域树立了新的标杆。q0428资讯网——每日最新资讯28at.com

在实验中，Token-Shuffle展现了强大的实力。在GenAI-Bench基准测试中，基于2.7B参数的LLaMA模型，Token-Shuffle在“困难”提示下取得了VQAScore 0.77，超越了其他AR模型如LlamaGen和扩散模型LDM。同时，在Geneval基准测试中，Token-Shuffle的综合得分为0.62，为AR模型树立了新的标准。q0428资讯网——每日最新资讯28at.com

q0428资讯网——每日最新资讯28at.com

用户评估也显示，尽管在逻辑一致性方面略逊于扩散模型，但Token-Shuffle在文本对齐和图像质量上优于LlamaGen和Lumina-mGPT。这一成果不仅为图像合成领域带来了新的突破，也为未来AR模型在更高分辨率图像生成中的应用提供了可能。q0428资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-21-147624-0.htmlToken-Shuffle突破！自回归模型也能高效生成高清图像

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 《逆转裁判》险成遗珠？前卡普空开发者谈新IP生存难

下一篇： AI伪造“非遗传承”骗局，“苗古金贴”高价售低质品被查！