当前位置：首页 > 元宇宙 > AI

Cerebras 推出全球最快 AI 推理解决方案，速度是英伟达方案的 20 倍

来源：责编：时间：2024-08-30 08:08:13 43观看

导读 8 月 28 日消息，Cerebras Systems 今日宣布推出 Cerebras Inference，官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token，为 Llama 3.1 70B 提供每秒 450 个 token，速度

8 月 28 日消息，Cerebras Systems 今日宣布推出 Cerebras Inference，官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token，为 Llama 3.1 70B 提供每秒 450 个 token，速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。

除了令人难以置信的性能之外，这款新型推理解决方案的定价也比流行的 GPU 云低得多，起价仅为每百万个 token 10 美分，从而为 AI 工作负载提供 100 倍更高的性价比。

该方案将允许 AI 应用程序开发人员构建下一代 AI 应用程序，而不会影响速度或成本。该方案使用了 Cerebras CS-3 系统及其 Wafer Scale Engine 3（WSE-3）AI 处理器，其中 CS-3 的内存带宽是 Nvidia H100 的 7000 倍，解决了生成式 AI 的内存带宽技术挑战。

据了解，Cerebras Inference 提供以下三个层级：

免费层为登录的任何人提供免费的 API 访问和慷慨的使用限制。

开发者层专为灵活的无服务器部署而设计，为用户提供一个 API 端点，其成本只是市场上替代方案的一小部分，Llama 3.1 8B 和 70B 模型的定价分别为每百万 token 10 美分和 60 美分。

企业层提供微调模型、定制服务级别协议和专门支持。企业可以通过 Cerebras 管理的私有云或客户场所访问 Cerebras Inference，非常适合持续的工作负载。

Cerebras 团队称：“凭借创纪录的性能、业界领先的定价和开放的 API 访问，Cerebras Inference 为开放的 LLM 开发和部署设定了新标准。作为唯一能够同时提供高速训练和推理的解决方案，Cerebras 为 AI 开辟了全新的可能性。”

AI 领域正在迅速发展，虽然英伟达目前在 AI 市场占据主导地位，但 Cerebras 和 Groq 等公司的出现预示着行业动态可能发生变化。随着对更快、更具成本效益的 AI 推理解决方案需求的不断增加，这些挑战者在颠覆英伟达的霸主地位，尤其是在推理领域方面。

本文链接：http://www.28at.com/showinfo-45-6517-0.htmlCerebras 推出全球最快 AI 推理解决方案，速度是英伟达方案的 20 倍

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：字节被曝成立“大模型研究院”，知情人士称其“未决定建立独立机构”

下一篇：字节火山引擎总裁谭待：现在大模型价格回归正常水平，原来太贵了

标签：

热门焦点

AI界地震！美国对OpenAI展开调查！监管风暴来袭！

来源：清元宇宙还记得5月OpenAI在国会山听证会上的自信、坦诚、游刃有余的问答吗？那时的Sam Altman可谓意气风发，在耐心、友好的国会议员面前，就AI立法、大模型安全性问题侃侃而
林俊杰、余文乐等明星相继入局，元宇宙虚拟土地究竟有何魔力？

上周的元宇宙和明星圈因为一则“林俊杰在推特上宣布持有Decentraland元宇宙虚拟地块”的新闻而备受关注，该新闻一方面在娱乐圈引起了吃瓜群众的好奇，另一方面在
企业热、用户冷，元宇宙第一站将是“营销场”？

如果说2021年底什么最火热，那元宇宙当之无愧。“万物皆可元宇宙”似乎成为新的流行语，在广告中也常常听到“社交元宇宙”“购物元宇宙”等等。就在近日，有消息传
NFT的未来：传统企业与去中心化机构之间的竞赛

传统企业和去中心化机构一直存在分歧，但最近NFT的爆炸式增长让他们产生了共同的兴趣，双方都在竞相让用户更轻松、更方便地使用NFT。毫无疑问，NFT 市场正在增长。
「国产良心」NFT嘲讽了谁？

2月23日，一个名为「国产良心」的NFT项目被许多活跃的加密用户注意到。该项目的官网风格尤为「不正经」，它丝毫没有避讳自己的小作坊出身，还将「中国人不骗中国人
NFT 技术将传世之作带入博物馆

意大利四大博物馆已与一个项目合作，该项目将展示和销售达芬奇、卡拉瓦乔、拉斐尔和莫迪利亚尼等人的杰作的 NFT复制品。该计划采用了科技公司Cincello的国际专
音乐家如何利用NFTs来提高歌迷参与度

"音乐是一种语言，不以特定的文字说话。它用情感说话，如果它在骨子里，它就在骨子里。" - Keith Richards音乐激励着我们，使我们流泪，使我们充满狂喜，并抚慰我们的灵魂
利用元宇宙平台10天收入160万，风口还是虎口？

美国Meta平台有限公司，也就是原来的脸书公司，9日宣布，公司旗下的虚拟现实应用《地平线世界》正式向美国和加拿大的18岁以上人群开放。这也是目前Meta推出的最具象
从概念到落地 Web3.0初具雏形

加密资产热潮催生出的链上应用中，除了DeFi、NFT、链游GameFi等场景外，还有一个热词叫「Web3.0」。Web3.0的概念最早出现在2014年，由以太坊联合创始人及波卡创建者