华人团队突破Token限制，扩散模型学习潜力超自回归三倍

AI界近期迎来了一项由华人科研团队带来的突破性进展，他们探索了扩散语言模型在Token数量受限条件下的表现，发现其数据学习能力远超自回归模型，展现出了三倍的优势。这一发现无疑为语言模型的训练策略开辟了全新的视角。4sC28资讯网——每日最新资讯28at.com

这项研究的核心成果是一个拥有10亿参数的扩散模型，在仅使用10亿Token进行480轮训练后，它在HellaSwag和MMLU两项基准测试中分别取得了56%和33%的准确率。值得注意的是，这一过程中并未采用任何特殊技巧或数据筛选方法。更令人瞩目的是，即便在数据高度重复的训练环境中，该模型的表现也未出现饱和迹象，这显示了其从同一数据源中提取更多有价值信息的非凡能力。4sC28资讯网——每日最新资讯28at.com

深入剖析后，研究人员指出扩散语言模型之所以拥有如此强大的学习能力，主要得益于两大因素。一方面，扩散模型通过引入双向建模和扩散目标，打破了传统自回归模型在处理数据时面临的因果局限，从而能够更深入地挖掘数据中的信息。另一方面，扩散模型在计算密度上的优势显著，它在训练和推理阶段投入更多计算资源，通过多次迭代数据优化预测，进而提升了整体性能。4sC28资讯网——每日最新资讯28at.com

尽管扩散模型在数据重复利用方面表现出一定的稳定性，但研究团队也观察到，随着训练周期的增加，模型存在过拟合的风险。然而，一个令人意外的发现是，即便在过拟合的情况下，模型在后续任务中的表现并未立即下滑，有时甚至会有所提升。这背后的原因在于，验证损失的变化与下游任务准确率之间并非总是线性相关，模型在处理有限训练数据时，可能会对某些文本片段产生过度自信的现象。4sC28资讯网——每日最新资讯28at.com

此次研究成果不仅为AI模型的训练策略提供了新的灵感，特别是在Token数量受限的情境下，扩散语言模型的应用潜力巨大。接下来，研究团队计划进一步扩大模型规模，并引入更多样化的数据，以期进一步验证并拓展这些令人振奋的发现。4sC28资讯网——每日最新资讯28at.com

举报 0收藏 0打赏 0评论 0分享 0    更多>同类资讯AI与机器人领域新动向：华为发布UCM技术，宇树双重身份亮相机器人运动会机器人ETF（562500）是全市场唯一规模破百亿、流动性最佳、覆盖中国机器人产业链最全的机器人主题ETF，助力投资者一键布局中国机器人产业。 科创人工智能ETF华夏（589010）是机器人的大脑，20%涨…08-13苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见苹果公司近日就埃隆·马斯克对其App Store平台提出的指控作出了正式回应。马斯克此前指责苹果偏袒OpenAI的ChatGPT应用，在App Store中存在不公平待遇。苹果公司在回应中强调，App Store始终秉持公平、无偏见的原则运营。“我们的平台旨在为用户提供安全的发现体验，同时08-13苹果新Siri：年底亮相，能否重塑iPhone交互体验？08-13AI时代下的安全守护：中国电信构建全方位AI安全保障体系在2025世界人工智能大会中，中国信息通信研究院、中国电子信息产业发展研究院、清华大学、上海人工智能实验室等四家核心机构联合发布《中国人工智能安全承诺框架》，在《框架》在AIIA《人工智能安全承诺》（202…08-13精准脉动：GPS网络授时服务器，现代数字世界的隐形基石在这背后，GPS网络授时服务器扮演着关键角色，成为维持社会高效运转的隐形基础设施。 尽管GPS信号易受环境或人为干扰，现代授时服务器通常采用多源冗余策略，例如结合北斗、GLONASS等卫星系统，或在本地部署铷…08-13中国科学家刷新无缺陷原子阵列规模纪录，量子计算关键技术获重大突破美国2025年已将量子倡议新法案追加27亿美元，我国将量子技术提升至国家战略高度，相关领域政策密集落地。目前量子科技行业正经历从实验室向商业化的加速转型，包括谷歌、亚马逊等科技巨头均已制定量子计算路线图，并在…08-13苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见然而，马斯克于昨日威胁要对苹果公司提起诉讼，声称苹果公司偏袒 ChatGPT，违反了反垄断法规。此外IT之家注意到，马斯克还声称苹果公司拒绝将 X 或 Grok 应用列入 App Store 的“必备应用…08-13萌趣吉星猫AI闹钟大揭秘：内置讯飞星火，寓教于乐新体验内部主要配置方面，吉星猫AI智能闹钟内置1500mA 18650锂电池供电；搭载大尺寸动圈喇叭和驻极体麦克风，用于语音交互；主板上，采用了Allwinner全志XR872微控制器，Puya普冉PY25Q12…08-13易方达中证人工智能ETF联接A：8月净值涨3.13%，年内累计涨幅达20.9%现任易方达基金管理有限公司易方达中证科技50交易型开放式指数证券投资基金基金经理(自2020年3月16日起任职)、易方达中证人工智能主题交易型开放式指数证券投资基金基金经理(自2020年7月27日起任职)、易…08-13灵童·念NIA - F01女团机器人拍卖成交，京东Joy Inside智能体加持引关注08-132025年AI伴侣应用市场蓬勃发展，预计年收入超1.2亿美元08-13阿尔特曼新创脑机接口公司Merge Labs，或成Neuralink强劲对手08-13AI公司Midjourney版权风波：迪士尼环球影业指控下的合理使用抗辩08-13昆仑万维发布Skywork UniPic2.0：多模态AI领域迎来新突破08-13AI初创Perplexity豪掷345亿美元，向谷歌发起Chrome浏览器收购战08-13点击查看更多 +全站最新高德地图全面AI化：打造AI原生智能体，引领出行新体验ETF大厂华泰柏瑞面临6800亿规模挑战，竞争白热化前路荆棘锂电巨头欣旺达赴港IPO，首富家族巨额套现后融资引关注皇氏集团业绩连年下滑，资产负债率创新高，乳业龙头面临挑战四川藤椒油大王，幺麻子年营收6亿冲刺北交所IPO昌硕科技撤离中国：十万工人生计受影响，中国制造加速转型热门内容

• 雷军抖音账号变动引热议：武汉大学标签悄然消失？
• 阿里开源480B参数编程模型Qwen3-Coder，超越Kimi K2，强化学习训练细节公开
• Cursor断供风波：AI开发圈震荡，程序员呼吁退款引热议
• 荣耀X70评测：耐用新标杆，IP69K防水抗摔，8300mAh电池续航无忧
• 阿里开源Qwen3-Coder，AI编程能力媲美Claude4，新手一天顶资深一周
• 阿里巴巴1688升级AI服务：新品App与查询工具上线，赋能中小企业高效采购
• 浙大发布“悟空”类脑计算机：神经元规模超20亿，模拟猕猴大脑
• 华为Mate 80系列爆料：全新麒麟9030，eSIM与低轨卫星通讯技术加持
• 华为鸿蒙5.1系统7月31日升级：Pura80领衔，30余款设备迎新体验
• 光伏电站智能化管理：提升效率，降低成本，助力“双碳”目标实现
• 雷军抖音账号母校标签“武汉大学”消失，或涉平台隐私调整
• 国家网信办约谈英伟达：要求阐释H20算力芯片安全隐患及后门风险
• 阿里自研旗舰AI眼镜WAIC 2025首发，探索智能终端新未来
• 英伟达H20芯片安全风险引关注，网信办约谈要求说明“追踪定位”等技术详情
• 马斯克将为Grok Heavy用户带来AI视频生成器及虚拟男友“Valentine”测试版

本栏最新苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见AI时代下的安全守护：中国电信构建全方位AI安全保障体系精准脉动：GPS网络授时服务器，现代数字世界的隐形基石中国科学家刷新无缺陷原子阵列规模纪录，量子计算关键技术获重大突破苹果否认偏袒ChatGPT，回应马斯克指控：App Store公平无偏见萌趣吉星猫AI闹钟大揭秘：内置讯飞星火，寓教于乐新体验

本文链接：http://www.28at.com/showinfo-45-26116-0.html华人团队突破Token限制，扩散模型学习潜力超自回归三倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Jan-v1模型发布：以4亿参数挑战AI巨头，本地运行成其独特优势

下一篇： AI与机器人领域新动向：华为发布UCM技术，宇树双重身份亮相机器人运动会