【申万宏源】必然的碎片化AI落地,哪种路径可能胜出? | 元宇宙Meta洞见
来源:
责编:
时间:2023-08-11 16:52:27
2054观看
导读 大规模预训GPT(Generative PreTraining)是OpenAI在2018年提出的模型,大规模预训练模型(大模型)渐渐成为了AI算法领域的热点。AI产业链:从算力到应用工作流程视角• 算法设计环节:机器视觉、语音识别、自然语
7Ue28资讯网——每日最新资讯28at.com
大规模预训GPT(Generative PreTraining)是OpenAI在2018年提出的模型,大规模预训练模型(大模型)渐渐成为了AI算法领域的热点。7Ue28资讯网——每日最新资讯28at.com
工作流程视角
7Ue28资讯网——每日最新资讯28at.com
• 算法设计环节:机器视觉、语音识别、自然语音处理、知识图谱7Ue28资讯网——每日最新资讯28at.com
• 算法实现环节:深度学习框架,训练、推理部署,对模型的调参优化7Ue28资讯网——每日最新资讯28at.com
• 算法运行环节:AI芯片和AIDC超算中心,提供硬件基础7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
AI平台:少量企业参与的AI高地之争
7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
• 训练软件框架:实现深度学习训练算法的模块化封装7Ue28资讯网——每日最新资讯28at.com
• 模型生产平台:实现模型的工业级生产7Ue28资讯网——每日最新资讯28at.com
• 推理部署框架:实现模型生产完成后的工业级高效、自动的部署7Ue28资讯网——每日最新资讯28at.com
• 数据平台:包括数据采集、数据标注、数据生产、数据存储等功能7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
训练框架:调节参数,生成参数7Ue28资讯网——每日最新资讯28at.com
训练框架是AI的重要基石,也是AI发展战略的制高点。当算法变成改造甚至颠覆软件行业的力量时,最后核心就是看这些AI的公司有没有平台化的能力,即“能够批量、高效、比竞争对手更及时地供应优质算法。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
推理框架:与硬件和设备端紧密相关7Ue28资讯网——每日最新资讯28at.com
推理框架:主要部署在设备端和云端,因此与硬件厂商紧密相关。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
开源框架的选择:规模效应与生态7Ue28资讯网——每日最新资讯28at.com
四大顶级深度学习框架阵营可以满足绝大部分开发者要求。社区规模效应:维护力量、贡献人员决定了算法库扩展及时性、API水平,软件框架规模效应较强。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
行业更新热点在“大模型”
7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
传统机器学习里,模型过小则欠拟合,模型过大则过拟合。深度学习里Double Descent现象在2018年揭示,随着模型参数变多,Test Error是先下降,再上升,然后第二次下降;原则上,在成本可接受的情况下,模型越大,准确率越好。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
OpenAI :GPT-37Ue28资讯网——每日最新资讯28at.com
GPT-3在许多NLP数据集上均具有出色的性能,包括翻译、问答和文本填空任务,这还包括一些需要即时推理或领域适应的任务,例如给一句话中的单词替换成同义词,或执行3位数的数学运算。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
GPT-3工具DALL·E和“逻辑”优化7Ue28资讯网——每日最新资讯28at.com
基于GPT-3构建,仅使用了120亿个参数样本,相当于GPT-3参数量的十四分之一;有利于降低了深度学习需要的数据标注量,文本和图像理解结合起来7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
优势显著7Ue28资讯网——每日最新资讯28at.com
• 自监督学习功能,大幅降低对数据量的需求:GPT舍弃Fine-tuning,先使用海量数据预训练大模型,得到一套模型参数,然后用这套参数对模型进行初始化,再进行训练。大幅降低后续对数据量的需求。7Ue28资讯网——每日最新资讯28at.com
• 预训练大模型+细分场景微调,更适合长尾落地:大规模预训练可以有效地从大量标记和未标记的数据中捕获知识,通过将知识存储到大量的参数中并对特定任务进行微调,极大扩展模型的泛化能力。7Ue28资讯网——每日最新资讯28at.com
• 有望进一步突破现有模型结构的精度局限:可能继续突破精度上限。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
AI落地和碎片化需求同时出现
7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
业界在2015-2017年后开始发生变化,AI走出实验室和商业模式转变:7Ue28资讯网——每日最新资讯28at.com
• 工业场景更复杂的逻辑:编程模式从静态网络结构描述向动态计算过程转变。7Ue28资讯网——每日最新资讯28at.com
• SDK商业模式可能无法在国内落地:早期试图复制海外SDK销售路线,但这一模式无法在国内复制。7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
两种路径的总结7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
7Ue28资讯网——每日最新资讯28at.com
设计并训练工业级的高性能AI模型需要大量的成本投入和深厚的技术沉淀,包含多场景汇总的海量数据,复杂的模型设计和训练算法,以及复杂的软件框架和硬件系统在内的大型计算基础设施,AI公司需要突破技术发展的瓶颈。7Ue28资讯网——每日最新资讯28at.com
-END-
7Ue28资讯网——每日最新资讯28at.com
本文链接:http://www.28at.com/showinfo-40-64-0.html【申万宏源】必然的碎片化AI落地,哪种路径可能胜出? | 元宇宙Meta洞见
声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com
上一篇: 【东方证券】虚拟世界照进现实,元宇宙中有什么? | 元宇宙Meta洞见
下一篇: 元宇宙将会如何塑造未来的工作方式?
标签:
-
文/侯煜编辑/罗卿知识增强大预言模式文心一言发布后,百度公司热度大幅提升,文心一言到底能为百度的业绩带来多大的增益成为业内关注焦点。近日,百度(NASDAQ:BIDU/09888.HK)公布了
-
元宇宙从概念走向大众生活,并不是一件简单的事情。技术、世界观、填充内容、载体形式,每一个环节都需要层层叠叠的逻辑。但正如赛博朋克奠基人威廉·吉布
-
元宇宙的余热依然没有过去,甚至大有星星之火开启燎原之势,元宇宙本身也从殿堂走向了民间,我们可以看到一些企业开始了元宇宙的探索,诸如中国电信全资控股子公司天
-
春节期间,游戏是消磨时间最好的方式,完美世界的《幻塔》作为选择的首要目标,倒不是因为它的吸引力有多大,纯粹是广大网友的吐槽。继《原神》之后,进击元宇宙的游戏
-
中国银保监管委,发布一则风险提示,内容围绕防范以“元宇宙”名义进行的非法集资风险。原文如下:近期,一些不法分子蹭热点,以“元宇宙投资项目”“元宇宙链游”等名
-
2 月 10 日,Hrishi Rajasekar 在旧金山铸币厂的沉浸式 NFT 展览 Verse 观看增强现实艺术品。“我们现在在虚拟世界中吗?时间好像变长了” 我问身后排队的人。我
-
前米高梅首席执行官Roger Birnbaum和AOL的接班人Mark Kimsey成立了一个新的好莱坞工作室,提供 NFT,让持有者在制作中发挥作用Electromagnetic Productions 创始
-
今日《元宇宙新鲜事》有:王老吉启动元宇宙“吉空间”;HTC发布元宇宙应用VIVERSE;Meta将在马德里构建一个元宇宙创新中心;央视网《新闻+》推出系列视频《聊聊元宇宙
-
当今技术正在经历着重要的变革,许多公司正在改变他们的经营模式以求变得更加的灵活,其中有很大一部分公司采用了不同的方式来发展自己的业务。其中之一就是Web3,