当前位置：首页 > 科技 > 数码

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

来源：责编：时间：2024-10-01 17:06:37 26观看

导读快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。AMD-135小模

快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍创建与部署流程

它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升多约2.8倍，锐龙AI CPU上可提升多约3.88倍，锐龙AI NPU上可提升多约2.98倍。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍推测解码

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

本文链接：http://www.28at.com/showinfo-24-117283-0.htmlAMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：首款真正全白主板！技嘉X870E AORUS PRO ICE电竞冰雕首发评测：性能超上代旗舰

下一篇：内存优化当下强！微星 MPG X870E CARBON WIFI暗黑板主板评测：游戏性能大幅强于顶级X670E

标签：

热门焦点

K60至尊版刚预热一加Ace2 Pro正面硬刚

Redmi这边刚如火如荼的宣传了K60 Ultra的各种技术和硬件配置，作为竞品的一加也坐不住了。一加中国区总裁李杰发布了两条微博，表示在自家的一加Ace2上早就已经采用了和PixelWo
红魔电竞平板评测：大屏幕硬实力

前言：三年的疫情因为要上网课的原因激活了平板市场，如今网课的时代已经过去，大家的生活都恢复到了正轨，这也就意味着，真正考验平板电脑生存的环境来了。也就是面对着这种残酷的
6月iOS设备好评榜：第一蝉联榜首近一年

作为安兔兔各种榜单里变化最小的那个，2023年6月的iOS好评榜和上个月相比没有任何排名上的变化，仅仅是部分设备好评率的下降，长年累月的用户评价和逐渐退出市场的老款机器让这
量化指标是与非：挽救被量化指标扼杀的技术团队

作者 | 刘新翠整理 | 徐杰承本文整理自快狗打车技术总监刘新翠在WOT2023大会上的主题分享，更多精彩内容及现场PPT，请关注51CTO技术栈公众号，发消息【WOT2023PPT】即可直接领取
电视息屏休眠仍有网络上传爱奇艺被质疑“薅消费者羊毛”

记者丨宁晓敏见习生丨汗青出品丨鳌头财经（theSankei）前不久，爱奇艺发布了一份亮眼的一季报，不仅营收和会员营收创造历史最佳表现，其运营利润也连续6个月实现增长。自去年年初
得物宠物生意「狂飙」，发力“它经济”

作者｜花花小萌主近日，得物宣布正式上线宠物鉴别，通过得物App内的“在线鉴别”，可找到鉴别宠物的选项。通过上传自家宠物的部位细节，就能收获拥有专业资质认证的得物鉴
自律，给不了Keep自由！

来源 | 互联网品牌官作者 | 李大为编排 | 又耳审核 | 谷晓辉自律能不能给用户自由暂时不好说，但大概率不能给Keep自由。近日，全球最大的在线健身平台Keep正式登陆港交所，努力
消息称小米汽车开始筛选交付中心：需至少120个车位

IT之家 7 月 7 日消息，日前，有微博简介为“汽车行业从业者、长三角一体化拥护者”的微博用户 @长三角行健者发文表示，据经销商集团反馈，小米汽车目前
最薄的14英寸游戏笔记本电脑 Alienware X14已可以购买

2022年1月份在国际消费电子展(CES2022)上首次亮相的Alienware新品——Alienware X14现在已经可以购买了，这款笔记本电脑被誉为世界上最薄的 14 英寸游戏笔