当前位置：首页 > 科技 > 资讯

谷歌新研究冲击缩放定律！模型规模真的关键吗？

来源：责编：时间：2024-04-09 17:17:23 255观看

导读4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有

4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。

尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。

然而，谷歌最新的研究发现：并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出：对于潜在扩散模型，模型不一定是越大越好。

据ITBEAR科技资讯了解，关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出，模型效果与规模大小、数据集大小、计算量强相关，而与具体结构弱相关。

缩放定律不仅适用于语言模型，还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构，选择合适的模型大小和数据集规模，以实现最佳性能。

谷歌最新研究集中在图像生成模型上，提出对于潜在扩散模型，在计算资源有限时，增加计算量应该增加数据集大小，而不是模型参数量。

这是否意味着缩放定律失效了?作者的研究表明，在有限的计算资源下，较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。

然而，在训练步骤恒定的情况下，大模型仍然具有优势，尤其在处理图像细节方面。

研究者还发现，不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同，这一发现令人意外。

这项研究探索了模型效率与品质之间的最佳平衡，为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合，即小型语言模型在多项任务中超越大型对手，旨在推动AI技术的民主化。

标签：OpenAI

举报 0收藏 0打赏 0评论 0

更多>同类资讯

联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

4月9日消息，联发科在今日盛大举行的生成式 AI 论坛中，正式发布了其全新的生成式AI服务平台——MediaTek DaVinci，该平台亦被亲切地称为“联发科技达哥”。自其问世以来，已吸引了超过40家厂商踊跃加入其生态系统，共同探索AI技术的新边界。MediaTek

04-09

数字永生！AI“复活”产品火爆上线，你会为逝去的亲人尝试吗？

4月9日消息，清明节前，电商平台迎来了一股独特的潮流，一位名为庞立的人工智能专业研究生在这个时机注册了一家店铺，专门提供AI“复活”服务。据庞立透露，今年大型模型应用与数字人训练平台技术都有所升级，结合最近AI“复活”话题的火爆，他决定进

04-09

超越GPT-3.5？联发科推出450亿参数AI模型！

4月9日消息，联发科近日推出了全新的生成式AI服务平台——MediaTek DaVinci，该平台也被业界亲切地称为“联发科技达哥”。据悉，该平台自推出以来，已成功吸引了20余家高科技厂商、10余家消费品牌、6家金融业机构、3家电信企业以及5家传统产业企业加

04-09

英伟达大佬最爱的AI聊天机，你知道是谁吗？

4月9日消息，近日，英伟达创始人黄仁勋在接受《连线》杂志采访时，透露了他最爱用的AI聊天机器人——Perplexity。这款AI工具在业界崭露头角，尽管其热度不及ChatGPT，但在AI领域却是一颗冉冉升起的新星。据ITBEAR科技资讯了解，Perplexity没有依赖狂

04-09

OpenAI人工智能市值突破270亿，投资者眼中下一个独角兽？

4月8日消息，据权威消息称，OpenAI有望在未来一年内通过销售人工智能软件和提供计算能力赚取超过10亿美元的收入。这一数字远远超出了此前股东们预期的收入水平。OpenAI目前每月创造的超过8亿美元的收入，表明了其商业价值的快速增长。该公司的账面价

04-08

微软震撼伦敦！全新人工智能中心来袭，领军专家曝光！

4月8日消息，微软于当地时间4月7日宣布，将在伦敦市中心建立一个全新的人工智能中心。这一举措旨在进一步加强微软在人工智能领域的实力。据悉，新成立的微软人工智能部门将由资深人工智能科学家和工程师乔丹·霍夫曼(Jordan Hoffmann)领导。霍夫曼在

04-08

AI革命，手机将被AI Pin取代？

4月8日消息，Humane创始人Bethany Bongiorno和Imran Chaudhri夫妇宣布推出首款AI设备——AI Pin，这标志着他们的离职创业之路迈出了重要一步。AI Pin是一款具有磁性的方形设备，可以轻松固定在衣服上，实现拍照、发送短信以及作为个人助手的功能。与

04-08

AI训练耗电量惊人？未来谁来买单？

4月8日消息，近日，特斯拉 CEO 马斯克在一次活动中发表言论，指出未来可能会面临电力不足的挑战，尤其是在芯片短缺问题未解决的情况下。他认为，随着人工智能的发展，对电力的需求将进一步增加。有关AI对电力的巨大需求问题，一直备受关注。训练和发

04-08

自定义指令大揭秘！Altman亲自指导，ChatGPT能成为你的个人智囊团？

4月8日消息，Altman亲自通过推特发布了对自定义指令(Custom Instructions)功能的引导。他认为，虽然这一功能刚刚推出，但并没有引起太多讨论，因为许多网友甚至不知道如何开启它，也不理解OpenAI推出这一功能的意义。微博知名大佬「宝玉xp」对自定义

04-08

未来人工智能设备将取代手机？大咖联手打造新品！

4月8日消息，据The Information报道，OpenAI首席执行官萨姆·阿尔特曼和苹果前设计总监乔纳森·艾维已经正式携手合作，共同设计一款人工智能驱动的个人设备，并正在寻求资金支持。虽然关于这款人工智能设备的具体细节尚未被公之于众，但据悉，它不太

04-08

AI情感智能：人机交互，谁更懂你？

4月7日消息，纽约初创公司Hume AI日前发布了一款号称为「第一个具有情商的对话式人工智能」的共情语音接口(EVI)，并声称该接口能够检测到用户的53种不同情绪。据悉，这家初创公司由前Google DeepMind研究员Alan Cowen共同创立并担任CEO。与其他人工智

04-07

人工智能音乐大杀器！「天工SkyMusic」你敢试吗？

4月7日消息，昆仑万维AI音乐生成大模型「天工SkyMusic」已于本月2日正式开启免费邀测。此次邀测将向社会开放1000个免费名额，主要面向行业媒体、专家和音乐从业者。用户可通过扫描提供的二维码或访问指定网页进行申请。据了解，「天工SkyMusic」正式

04-07

马斯克之子！xAI疯狂融资，180亿估值到底值不值？

4月7日消息，据知情人士透露，埃隆・马斯克旗下的人工智能创业公司xAI正在与投资者就融资事宜进行洽谈。这次融资计划达到30亿美元，将使得xAI的估值达到180亿美元。报道指出，参与xAI融资的投资方包括风投公司Gigafund和投资人Steve Jurvetson。Gigaf

04-07

文心一言：2秒变定制声音，音色怎么选？

4月7日消息，文心一言近日推出了一项令用户兴奋的新功能——仅需2秒即可定制声音。通过打开文心一言App，用户可以轻松选择创建智能体，并点击创建自己的声音。根据系统提示，只需读出约2秒左右的一段话，即可获得定制的声音。据了解，这一功能的推出

04-07

人工智能超越人类？马斯克：或许仅剩五年！

4月7日消息，近日，特斯拉和SpaceX的CEO埃隆·马斯克在“丰富峰会”上与奇点大学和XPRIZE基金会创始人彼得·戴曼迪斯进行了在线对话。这次峰会由硅谷的奇点大学主办，旨在向商业领袖提供前沿技术咨询。XPRIZE基金会则通过举办科学竞赛推动科技创新，

04-07

点击查看更多 +

全站最新

Nothing Ear /（a）蓝牙耳机渲染图大曝光，4 月 18 日发布

超越GPT-3.5？联发科推出450亿参数AI模型！

英伟达大佬最爱的AI聊天机，你知道是谁吗？

带给更多用户移动AI体验三星Galaxy S23系列现已支持Galaxy AI

努比亚小牛5G百元神机问世：搭载展锐T760，双面玻璃设计，799元起步

谷歌Nest Secure安防系统今日起正式停用

热门内容

华为云携手乐聚机器人，共探“盘古大模型+夸父人形机器人”新应用场景
谷歌借助AI突破：提前7天预测洪灾，全球80国将受益
华为云携手贵安新区，共筑全球领先智算高地
谷歌DeepMind推出SIMA模型：打造更贴近人类的游戏智能队友
Cerebras发布第三代芯片WSE-3：性能翻倍，助力大模型训练
微软或与OpenAI联手，斥资千亿美元打造“星际之门”AI超算
音乐界的ChatGPT？天工SkyMusic邀您体验AI音乐创作
京东推出全新“AI全能服务包”，助力商家降低50%运营成本
英美联手打造AI安全新标杆，科学合作伙伴关系正式建立
微软Copilot全面升级至GPT-4 Turbo模型，提升编码体验
百度文心一言推出新功能，秒速定制你的专属AI声音
WPS推出AI会员服务，月费25元起，开启AI办公新纪元
OpenAI疑似泄露GPT-4.5 Turbo模型信息
特斯拉加速推进人形机器人项目，招聘技术撰写员预示Optimus即将面世
马斯克再谈AI风险：利大于弊仍值得冒险

本栏最新

超越GPT-3.5？联发科推出450亿参数AI模型！

英伟达大佬最爱的AI聊天机，你知道是谁吗？

OpenAI人工智能市值突破270亿，投资者眼中下一个独角兽？

微软震撼伦敦！全新人工智能中心来袭，领军专家曝光！

AI革命，手机将被AI Pin取代？

AI训练耗电量惊人？未来谁来买单？

本文链接：http://www.28at.com/showinfo-16-82333-0.html谷歌新研究冲击缩放定律！模型规模真的关键吗？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：谁在偷懒？OpenAI的ChatGPT竟然变得越来越懒散？

下一篇：联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

标签：

热门焦点

MIX Fold3包装盒泄露新机本月登场

小米的全新折叠屏旗舰MIX Fold3将于本月发布，近日该机的真机包装盒在网上泄露。从图上来看，新的MIX Fold3包装盒在外观设计方面延续了之前的方案，变化不大，这也是目前小米旗舰
7月安卓手机性价比榜：努比亚+红魔两款新机入榜

7月登场的新机有努比亚Z50S Pro和红魔8S Pro，除了三星之外目前唯二的两款搭载超频版骁龙8Gen2处理器的产品，而且努比亚和红魔也一贯有着不错的性价比，所以在本次的性价比榜单
5月iOS设备性能榜：M1 M2依旧是榜单前五

和上个月一样，没有新品发布的iOS设备性能榜的上榜设备并没有什么更替，仅仅只有跑分变化而产生的排名变动，刚刚开始的苹果WWDC2023，推出的产品也依旧是新款Mac Pro、新款Mac Stu
三言两语说透柯里化和反柯里化

JavaScript中的柯里化(Currying)和反柯里化(Uncurrying)是两种很有用的技术，可以帮助我们写出更加优雅、泛用的函数。本文将首先介绍柯里化和反柯里化的概念、实现原理和应用
一文搞定Java NIO，以及各种奇葩流

大家好，我是哪吒。很多朋友问我，如何才能学好IO流，对各种流的概念，云里雾里的，不求甚解。用到的时候，现百度，功能虽然实现了，但是为什么用这个？不知道。更别说效率问题了~下次再遇到，
网传小米汽车开始筛选交付中心建筑面积不低于3000平方米

7月7日消息，近日有微博网友@长三角行健者爆料称，据经销商集团反馈，小米汽车目前已经开始了交付中心的筛选工作，要求候选场地至少有120个车位，建筑不能低
回归OPPO两年，一加赢了销量，输了品牌

成为OPPO旗下主打性能的先锋品牌后，一加屡创佳绩。今年618期间，一加手机全渠道销量同比增长362%，凭借一加 11、一加 Ace 2、一加 Ace 2V三款爆品，一加
微软发布Windows 11新版引入全新任务栏状态

近日，微软发布了Windows 11新版，而Build 22563更新主要引入了几周前曝光的平板模式任务栏等，系统更流畅了。更新中，Windows 11加入了专门针对平板优化的任务栏
华为举行春季智慧办公新品发布会首次推出电子墨水屏平板

北京时间2月27日晚，华为在巴塞罗那举行春季智慧办公新品发布会，在海外市场推出之前已经在中国市场上市的笔记本、平板、激光打印机等办公产品，并首次推出搭载

谷歌新研究冲击缩放定律！模型规模真的关键吗？

MIX Fold3包装盒泄露新机本月登场

7月安卓手机性价比榜：努比亚+红魔两款新机入榜

5月iOS设备性能榜：M1 M2依旧是榜单前五

三言两语说透柯里化和反柯里化

一文搞定Java NIO，以及各种奇葩流

网传小米汽车开始筛选交付中心建筑面积不低于3000平方米

回归OPPO两年，一加赢了销量，输了品牌

微软发布Windows 11新版引入全新任务栏状态

华为举行春季智慧办公新品发布会首次推出电子墨水屏平板

最新推荐

猜你喜欢

热门推荐

相关资讯