当前位置：首页 > 科技 > 数码

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

来源：责编：时间：2024-10-01 17:06:37 43观看

导读快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。AMD-135小模

快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。

相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。

AMD-135小模型隶属于Llama家族，有两个版本：

一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。

二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍创建与部署流程

它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。

这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。

AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。

比如在MI250加速器上，性能可提升多约2.8倍，锐龙AI CPU上可提升多约3.88倍，锐龙AI NPU上可提升多约2.98倍。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍推测解码

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。

按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

本文链接：http://www.28at.com/showinfo-24-117177-0.htmlAMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：苹果推出适用于 iPhone 16 系列的 iOS 18.1 Beta 3 版本，方便 iPhone 15 Pro 测试版用户换机

下一篇： RX 7800M强外置显卡！OneXGPU 2价格定了：近6000元起

标签：

热门焦点

影音体验是真的强简单聊聊iQOO Pad

大公司的好处就是产品线丰富，非常细分化的东西也能给你做出来，例如早先我们看到了新的vivo Pad2，之后我们又在iQOO Neo8 Pro的发布会上看到了iQOO的首款平板产品iQOO Pad。虽
《英雄联盟》夏季赛总决赛今日开打！JDG对阵LNG首发名单来了 Knight：准备三连冠

8月5日消息，今日17:00，《英雄联盟》2023LPL夏季赛总决赛将正式开打，由JDG对阵LNG。对两支队伍来说，这场比赛不仅要争夺夏季赛冠军，更要决定谁才是LPL赛区一
JavaScript 混淆及反混淆代码工具

介绍在我们开始学习反混淆之前，我们首先要了解一下代码混淆。如果不了解代码是如何混淆的，我们可能无法成功对代码进行反混淆，尤其是使用自定义混淆器对其进行混淆时。什么是混
如何正确使用:Has和:Nth-Last-Child

我们可以用CSS检查，以了解一组元素的数量是否小于或等于一个数字。例如，一个拥有三个或更多子项的grid。你可能会想，为什么需要这样做呢？在某些情况下，一个组件或一个布局可能会
这款新兴工具平台，让你的电脑效率翻倍

随着信息技术的发展,我们获取信息的渠道越来越多,但是处理信息的效率却成为一个瓶颈。于是各种工具应运而生,都在争相解决我们的工作效率问题。今天我要给大家介绍一款效率
使用AIGC工具提升安全工作效率

在日常工作中，安全人员可能会涉及各种各样的安全任务，包括但不限于：开发某些安全工具的插件，满足自己特定的安全需求；自定义github搜索工具，快速查找所需的安全资料、漏洞poc、exp
花7万退货退款无门：谁在纵容淘宝珠宝商家造假？

来源：极点商业作者：杨铭在淘宝购买珠宝玉石后，因为保证金不够赔付，店铺关闭，退货退款难、维权无门的比比皆是。“提供相关产品鉴定证书，支持全国复检，可以30天无理由退换货。&
阿里瓴羊One推出背后，零售企业迎数字化新解

作者:刘旷近年来随着数字经济的高速发展，各式各样的SaaS应用服务更是层出不穷，但本质上SaaS大多局限于单一业务流层面，对用户核心关切的增长问题等则没有提供更好的解法。在Saa
OPPO、vivo、小米等国内厂商Q2在印度智能手机市场份额依旧高达55%

7月20日消息，据外媒报道，研究机构的报告显示，在全球智能手机出货量同比仍在下滑的大背景下，印度这一有潜力的市场也未能幸免，出货量同比也有下滑，多家厂