B站开源轻量级 Index-1.9B 系列模型：2.8T 训练数据，支持角色扮演

6 月 20 日消息，B站昨日开源了轻量级 Index-1.9B 系列模型，包含基座模型、对照组、对话模型、角色扮演模型等多个版本。G5T28资讯网——每日最新资讯28at.com

附官方简介：G5T28资讯网——每日最新资讯28at.com

Index-1.9B base ： 基座模型，具有 19 亿非词嵌入参数量，在 2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先。G5T28资讯网——每日最新资讯28at.com

Index-1.9B pure ： 基座模型的对照组，与 base 具有相同的参数和训练策略，不同之处在于严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对 benchmark 的影响。G5T28资讯网——每日最新资讯28at.com

Index-1.9B chat ：基于 index-1.9B base 通过 SFT 和 DPO 对齐后的对话模型，由于预训练中引入了较多互联网社区语料，聊天的趣味性明显更强。G5T28资讯网——每日最新资讯28at.com

Index-1.9B character ：在 SFT 和 DPO 的基础上引入了 RAG 来实现 fewshots 角色扮演定制。G5T28资讯网——每日最新资讯28at.com

G5T28资讯网——每日最新资讯28at.com

G5T28资讯网——每日最新资讯28at.com

据介绍，该模型在预训练阶段使用了 2.8T 规模的数据，中英比例为 4:5，代码占比 6%。目前，角色扮演模型内置了角色“三三”，用户也可以按需创建自己的角色。G5T28资讯网——每日最新资讯28at.com

项目地址：https://github.com/bilibili/Index-1.9B/blob/main/README.mdG5T28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-4722-0.htmlB站开源轻量级 Index-1.9B 系列模型：2.8T 训练数据，支持角色扮演

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： “HumanPlus”机器人问世：可模仿人类动作弹钢琴、叠衣服，基于中国公司平台

下一篇： 上海人工智能实验室发布首个 AI 高考评测结果：语数英总分最高 303 分，数学全部不及格