当前位置：首页 > 科技 > 资讯

谷歌新研究冲击缩放定律！模型规模真的关键吗？

来源：责编：时间：2024-04-09 17:17:23 276观看

导读4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有

4月9日消息，近年来，模型规模不断扩大，一种普遍的信念是“力大砖飞”。

尽管OpenAI没有公布Sora的训练细节，但在其技术报告中提到了：最大的模型Sora能够生成一分钟高保真视频，这表明扩大视频生成模型是构建通用世界模拟器的有前景途径。

然而，谷歌最新的研究发现：并非如此!谷歌研究院和约翰霍普金斯大学在最新论文中指出：对于潜在扩散模型，模型不一定是越大越好。

据ITBEAR科技资讯了解，关于缩放定律的争议一直存在。OpenAI在2020年发表的论文提出，模型效果与规模大小、数据集大小、计算量强相关，而与具体结构弱相关。

缩放定律不仅适用于语言模型，还适用于其他模态及跨模态场景。这一概念的提出使研究人员和开发者能够更有效地设计模型架构，选择合适的模型大小和数据集规模，以实现最佳性能。

谷歌最新研究集中在图像生成模型上，提出对于潜在扩散模型，在计算资源有限时，增加计算量应该增加数据集大小，而不是模型参数量。

这是否意味着缩放定律失效了?作者的研究表明，在有限的计算资源下，较小的模型可以优于较大的模型;模型大小和训练步骤的选择需与计算资源相匹配。

然而，在训练步骤恒定的情况下，大模型仍然具有优势，尤其在处理图像细节方面。

研究者还发现，不同大小的模型在CFG(Classifier-Free Guidance)技术下受影响基本相同，这一发现令人意外。

这项研究探索了模型效率与品质之间的最佳平衡，为开发更高效的图像生成AI系统提供了指导。这与当前AI领域的趋势相契合，即小型语言模型在多项任务中超越大型对手，旨在推动AI技术的民主化。

标签：OpenAI

举报 0收藏 0打赏 0评论 0

更多>同类资讯

联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

4月9日消息，联发科在今日盛大举行的生成式 AI 论坛中，正式发布了其全新的生成式AI服务平台——MediaTek DaVinci，该平台亦被亲切地称为“联发科技达哥”。自其问世以来，已吸引了超过40家厂商踊跃加入其生态系统，共同探索AI技术的新边界。MediaTek

04-09

数字永生！AI“复活”产品火爆上线，你会为逝去的亲人尝试吗？

4月9日消息，清明节前，电商平台迎来了一股独特的潮流，一位名为庞立的人工智能专业研究生在这个时机注册了一家店铺，专门提供AI“复活”服务。据庞立透露，今年大型模型应用与数字人训练平台技术都有所升级，结合最近AI“复活”话题的火爆，他决定进

04-09

超越GPT-3.5？联发科推出450亿参数AI模型！

4月9日消息，联发科近日推出了全新的生成式AI服务平台——MediaTek DaVinci，该平台也被业界亲切地称为“联发科技达哥”。据悉，该平台自推出以来，已成功吸引了20余家高科技厂商、10余家消费品牌、6家金融业机构、3家电信企业以及5家传统产业企业加

04-09

英伟达大佬最爱的AI聊天机，你知道是谁吗？

4月9日消息，近日，英伟达创始人黄仁勋在接受《连线》杂志采访时，透露了他最爱用的AI聊天机器人——Perplexity。这款AI工具在业界崭露头角，尽管其热度不及ChatGPT，但在AI领域却是一颗冉冉升起的新星。据ITBEAR科技资讯了解，Perplexity没有依赖狂

04-09

OpenAI人工智能市值突破270亿，投资者眼中下一个独角兽？

4月8日消息，据权威消息称，OpenAI有望在未来一年内通过销售人工智能软件和提供计算能力赚取超过10亿美元的收入。这一数字远远超出了此前股东们预期的收入水平。OpenAI目前每月创造的超过8亿美元的收入，表明了其商业价值的快速增长。该公司的账面价

04-08

微软震撼伦敦！全新人工智能中心来袭，领军专家曝光！

4月8日消息，微软于当地时间4月7日宣布，将在伦敦市中心建立一个全新的人工智能中心。这一举措旨在进一步加强微软在人工智能领域的实力。据悉，新成立的微软人工智能部门将由资深人工智能科学家和工程师乔丹·霍夫曼(Jordan Hoffmann)领导。霍夫曼在

04-08

AI革命，手机将被AI Pin取代？

4月8日消息，Humane创始人Bethany Bongiorno和Imran Chaudhri夫妇宣布推出首款AI设备——AI Pin，这标志着他们的离职创业之路迈出了重要一步。AI Pin是一款具有磁性的方形设备，可以轻松固定在衣服上，实现拍照、发送短信以及作为个人助手的功能。与

04-08

AI训练耗电量惊人？未来谁来买单？

4月8日消息，近日，特斯拉 CEO 马斯克在一次活动中发表言论，指出未来可能会面临电力不足的挑战，尤其是在芯片短缺问题未解决的情况下。他认为，随着人工智能的发展，对电力的需求将进一步增加。有关AI对电力的巨大需求问题，一直备受关注。训练和发

04-08

自定义指令大揭秘！Altman亲自指导，ChatGPT能成为你的个人智囊团？

4月8日消息，Altman亲自通过推特发布了对自定义指令(Custom Instructions)功能的引导。他认为，虽然这一功能刚刚推出，但并没有引起太多讨论，因为许多网友甚至不知道如何开启它，也不理解OpenAI推出这一功能的意义。微博知名大佬「宝玉xp」对自定义

04-08

未来人工智能设备将取代手机？大咖联手打造新品！

4月8日消息，据The Information报道，OpenAI首席执行官萨姆·阿尔特曼和苹果前设计总监乔纳森·艾维已经正式携手合作，共同设计一款人工智能驱动的个人设备，并正在寻求资金支持。虽然关于这款人工智能设备的具体细节尚未被公之于众，但据悉，它不太

04-08

AI情感智能：人机交互，谁更懂你？

4月7日消息，纽约初创公司Hume AI日前发布了一款号称为「第一个具有情商的对话式人工智能」的共情语音接口(EVI)，并声称该接口能够检测到用户的53种不同情绪。据悉，这家初创公司由前Google DeepMind研究员Alan Cowen共同创立并担任CEO。与其他人工智

04-07

人工智能音乐大杀器！「天工SkyMusic」你敢试吗？

4月7日消息，昆仑万维AI音乐生成大模型「天工SkyMusic」已于本月2日正式开启免费邀测。此次邀测将向社会开放1000个免费名额，主要面向行业媒体、专家和音乐从业者。用户可通过扫描提供的二维码或访问指定网页进行申请。据了解，「天工SkyMusic」正式

04-07

马斯克之子！xAI疯狂融资，180亿估值到底值不值？

4月7日消息，据知情人士透露，埃隆・马斯克旗下的人工智能创业公司xAI正在与投资者就融资事宜进行洽谈。这次融资计划达到30亿美元，将使得xAI的估值达到180亿美元。报道指出，参与xAI融资的投资方包括风投公司Gigafund和投资人Steve Jurvetson。Gigaf

04-07

文心一言：2秒变定制声音，音色怎么选？

4月7日消息，文心一言近日推出了一项令用户兴奋的新功能——仅需2秒即可定制声音。通过打开文心一言App，用户可以轻松选择创建智能体，并点击创建自己的声音。根据系统提示，只需读出约2秒左右的一段话，即可获得定制的声音。据了解，这一功能的推出

04-07

人工智能超越人类？马斯克：或许仅剩五年！

4月7日消息，近日，特斯拉和SpaceX的CEO埃隆·马斯克在“丰富峰会”上与奇点大学和XPRIZE基金会创始人彼得·戴曼迪斯进行了在线对话。这次峰会由硅谷的奇点大学主办，旨在向商业领袖提供前沿技术咨询。XPRIZE基金会则通过举办科学竞赛推动科技创新，

04-07

点击查看更多 +

全站最新

Nothing Ear /（a）蓝牙耳机渲染图大曝光，4 月 18 日发布

超越GPT-3.5？联发科推出450亿参数AI模型！

英伟达大佬最爱的AI聊天机，你知道是谁吗？

带给更多用户移动AI体验三星Galaxy S23系列现已支持Galaxy AI

努比亚小牛5G百元神机问世：搭载展锐T760，双面玻璃设计，799元起步

谷歌Nest Secure安防系统今日起正式停用

热门内容

华为云携手乐聚机器人，共探“盘古大模型+夸父人形机器人”新应用场景
谷歌借助AI突破：提前7天预测洪灾，全球80国将受益
华为云携手贵安新区，共筑全球领先智算高地
谷歌DeepMind推出SIMA模型：打造更贴近人类的游戏智能队友
Cerebras发布第三代芯片WSE-3：性能翻倍，助力大模型训练
微软或与OpenAI联手，斥资千亿美元打造“星际之门”AI超算
音乐界的ChatGPT？天工SkyMusic邀您体验AI音乐创作
京东推出全新“AI全能服务包”，助力商家降低50%运营成本
英美联手打造AI安全新标杆，科学合作伙伴关系正式建立
微软Copilot全面升级至GPT-4 Turbo模型，提升编码体验
百度文心一言推出新功能，秒速定制你的专属AI声音
WPS推出AI会员服务，月费25元起，开启AI办公新纪元
OpenAI疑似泄露GPT-4.5 Turbo模型信息
特斯拉加速推进人形机器人项目，招聘技术撰写员预示Optimus即将面世
马斯克再谈AI风险：利大于弊仍值得冒险

本栏最新

超越GPT-3.5？联发科推出450亿参数AI模型！

英伟达大佬最爱的AI聊天机，你知道是谁吗？

OpenAI人工智能市值突破270亿，投资者眼中下一个独角兽？

微软震撼伦敦！全新人工智能中心来袭，领军专家曝光！

AI革命，手机将被AI Pin取代？

AI训练耗电量惊人？未来谁来买单？

本文链接：http://www.28at.com/showinfo-16-82333-0.html谷歌新研究冲击缩放定律！模型规模真的关键吗？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：谁在偷懒？OpenAI的ChatGPT竟然变得越来越懒散？

下一篇：联发科重磅推出“达哥”AI服务平台，支持顶尖繁体中文大模型MR BreeXe

标签：

热门焦点

十个可以手动编写的 JavaScript 数组 API

JavaScript 中有很多API，使用得当，会很方便，省力不少。你知道它的原理吗? 今天这篇文章，我们将对它们进行一次小总结。现在开始吧。1.forEach()forEach()用于遍历数组接收一参
从 Pulsar Client 的原理到它的监控面板

背景前段时间业务团队偶尔会碰到一些 Pulsar 使用的问题，比如消息阻塞不消费了、生产者消息发送缓慢等各种问题。虽然我们有个监控页面可以根据 topic 维度查看他的发送状态，
十个简单但很有用的Python装饰器

装饰器（Decorators）是Python中一种强大而灵活的功能，用于修改或增强函数或类的行为。装饰器本质上是一个函数，它接受另一个函数或类作为参数，并返回一个新的函数或类。它们通常用
.NET 程序的 GDI 句柄泄露的再反思

一、背景1. 讲故事上个月我写过一篇如何洞察 C# 程序的 GDI 句柄泄露文章，当时用的是 GDIView + WinDbg 把问题搞定，前者用来定位泄露资源，后者用来定位泄露代码，后面有朋友反
从零到英雄：高并发与性能优化的神奇之旅

作者 | 波哥审校 | 重楼作为公司的架构师或者程序员，你是否曾经为公司的系统在面对高并发和性能瓶颈时感到手足无措或者焦头烂额呢？笔者在出道那会为此是吃尽了苦头的，不过也得
雅柏威士忌多款单品价格大跌，泥煤顶流也不香了？

来源 | 烈酒商业观察编 | 肖海林今年以来，威士忌市场开始出现了降温迹象，越来越多不断暴涨的网红威士忌也开始悄然回归市场理性。近日，LVMH集团旗下苏格兰威士忌品牌雅柏（Ardbeg
2纳米决战2025

集微网报道从三强争霸到四雄逐鹿，2nm的厮杀声已然隐约传来。无论是老牌劲旅台积电、三星，还是誓言重回先进制程领先地位的英特尔，甚至初成立不久的新
OPPO K11评测：旗舰级IMX890加持 2000元档最强影像手机

【Techweb评测】中端机型用户群体巨大，占了中国目前手机市场的大头，一直以来都是各手机品牌的“必争之地”，其中OPPO K系列机型一直以来都以高品质、
亲历马斯克血洗Twitter，硅谷的苦日子在后头

文/刘哲铭　　编辑/李薇　　马斯克再次挥下裁员大刀。　　美国时间11月14日，Twitter约4400名外包员工遭解雇，此次被解雇的员工的主要工作为内容审核等。此前，T

谷歌新研究冲击缩放定律！模型规模真的关键吗？

十个可以手动编写的 JavaScript 数组 API

从 Pulsar Client 的原理到它的监控面板

十个简单但很有用的Python装饰器

.NET 程序的 GDI 句柄泄露的再反思

从零到英雄：高并发与性能优化的神奇之旅

雅柏威士忌多款单品价格大跌，泥煤顶流也不香了？

2纳米决战2025

OPPO K11评测：旗舰级IMX890加持 2000元档最强影像手机

亲历马斯克血洗Twitter，硅谷的苦日子在后头

最新推荐

猜你喜欢

热门推荐

相关资讯