Databricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

3 月 31 日消息，Databricks 近日在推出了一款通用大语言模型 DBRX，号称是“目前最强开源AI”，据称在各种基准测试中都超越了“市面上所有的开源模型”。a9228资讯网——每日最新资讯28at.com

a9228资讯网——每日最新资讯28at.com

从官方新闻稿中得知，DBRX 是一个基于 Transformer 的大语言模型，采用 MoE（Mixture of Experts）架构，具备 1320 亿个参数，并在 12T Token 的源数据上进行预训练。a9228资讯网——每日最新资讯28at.com

研究人员对这款模型进行测试，相较于市场上已有的 LLaMA2-70B、Mixtral、Grok-1 等开源模型，DBRX 在语言理解（MMLU）、程式设计（HumanEval）及数学逻辑（GSM8K）等基准测试上的表现较为突出。官方同时提到，DBRX 在上述 3 项基准测试中也超越了 OpenAI 的 GPT-3.5。a9228资讯网——每日最新资讯28at.com

a9228资讯网——每日最新资讯28at.com

Databricks AI 部分副总裁 Naveen Rao 向外媒 TechCrunch 透露，该公司花了两个月及 1000 万美元的成本来训练 DBRX，虽然目前 DBRX 在整体成绩方面发挥较好，不过目前该模型需要使用 4 块英伟达 H100 GPU 运行，因此还有待优化空间。a9228资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-3786-0.htmlDatabricks 推出 1320 亿参数大语言模型 DBRX，号称“现阶段最强开源 AI”

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 防止聊天机器人“造谣”，谷歌 Deepmind、斯坦福大学研究人员推出 AI 事实核查工具

下一篇： 谷歌：手机运行人工智能模型将占用大量内存