MiniMax 稀宇科技发布万亿参数 MoE 模型 abab 6.5，核心能力接近 GPT-4

4 月 17 日消息，国内 AI 初创企业MiniMax 稀宇科技今日正式推出MoE 混合专家模型架构的 abab 6.5 系列模型，核心能力开始接近GPT-4、 Claude-3、 Gemini-1.5。ou928资讯网——每日最新资讯28at.com

ou928资讯网——每日最新资讯28at.com

abab 6.5 系列包含两个模型：ou928资讯网——每日最新资讯28at.com

abab 6.5：包含万亿参数，支持 200k tokens 的上下文长度；ou928资讯网——每日最新资讯28at.com

abab 6.5s：与 abab 6.5 使用了同样的训练技术和数据，但是更高效，支持 200k tokens 的上下文长度，可以 1 秒内处理近 3 万字的文本。ou928资讯网——每日最新资讯28at.com

自一月发布国内首个基于 MoE 架构的 abab 6 模型后，MiniMax 通过改进模型架构，重构数据 pipeline，训练算法及并行训练策略优化等，在加速 Scaling Laws 过程上取得阶段性成果。ou928资讯网——每日最新资讯28at.com

附abab 6.5 系列模型测试结果如下：ou928资讯网——每日最新资讯28at.com

ou928资讯网——每日最新资讯28at.com

官方在 200k token 内进行了业界常用的“大海捞针”测试，即在很长的文本中放入一个和该文本无关的句子（针），然后通过自然语言提问模型，看模型是否准确将这个针回答出来。在 891 次测试中，abab 6.5 均能正确回答。ou928资讯网——每日最新资讯28at.com

ou928资讯网——每日最新资讯28at.com

abab 6.5 与 abab 6.5s 模型将滚动更新至 MiniMax 旗下产品，包括海螺 AI 与 MiniMax 开放平台。ou928资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-4085-0.htmlMiniMax 稀宇科技发布万亿参数 MoE 模型 abab 6.5，核心能力接近 GPT-4

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Chrome 浏览器桌面版地址栏即将整合聊天机器人 Gemini

下一篇： 昆仑万维：中国首个音乐 SOTA 模型天工 SkyMusic 音乐大模型开启公测