4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。
尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。
然而，谷歌最新的研究发现：并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出：对于潜在扩散模型，模型不一定是越大越好。
据ITBEAR科技资讯了解，关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出，模型效果与规模大小、数据集大小、计算量强相关，而与具体结构弱相关。
缩放定律不仅适用于语言模型，还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构，选择合适的模型大小和数据集规模，以实现最佳性能。
谷歌最新研究集中在图像生成模型上，提出对于潜在扩散模型，在计算资源有限时，增加计算量应该增加数据集大小，而不是模型参数量。
这是否意味着缩放定律失效了?作者的研究表明，在有限的计算资源下，较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。
然而，在训练步骤恒定的情况下，大模型仍然具有优势，尤其在处理图像细节方面。
研究者还发现，不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同，这一发现令人意外。
这项研究探索了模型效率与品质之间的最佳平衡，为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合，即小型语言模型在多项任务中超越大型对手，旨在推动AI技术的民主化。
本文链接：http://www.28at.com/showinfo-16-82333-0.html谷歌新研究冲击缩放定律！模型规模真的关键吗？
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
