百川智能上线开源全模态模型 Omni-1.5，号称多项能力超越 GPT-4o mini

1 月 26 日消息，百川智能今日宣布，Baichuan-Omni-1.5 开源全模态模型正式上线。该模型不仅支持文本、图像、音频和视频的全模态理解，还具备文本和音频的双模态生成能力。OrJ28资讯网——每日最新资讯28at.com

官方宣称，其在视觉、语音及多模态流式处理等方面，Baichuan-Omni-1.5 的表现均优于 GPT-4o mini；在多模态医疗应用领域，其具备更突出的领先优势。OrJ28资讯网——每日最新资讯28at.com

Baichuan-Omni-1.5 不仅能在输入和输出端实现多种交互操作，还拥有强大的多模态推理能力和跨模态迁移能力。OrJ28资讯网——每日最新资讯28at.com

OrJ28资讯网——每日最新资讯28at.com

其在音频技术领域采用了端到端解决方案，可支持多语言对话、端到端音频合成，还可实现自动语音识别、文本转语音等功能，且支持音视频实时交互。OrJ28资讯网——每日最新资讯28at.com

据介绍，在视频理解能力方面，Baichuan-Omni-1.5 通过对编码器、训练数据和训练方法等多个关键环节进行深入优化，其整体性能大幅超越 GPT-4o-mini。OrJ28资讯网——每日最新资讯28at.com

OrJ28资讯网——每日最新资讯28at.com

OrJ28资讯网——每日最新资讯28at.com

模型结构方面，Baichuan-Omni-1.5 的模型输入部分支持各种模态通过相应的 Encoder / Tokenizer 输入到大型语言模型中。OrJ28资讯网——每日最新资讯28at.com

而在模型输出部分，Baichuan-Omni-1.5 采用了文本-音频交错输出的设计，通过 Text Tokenizer 和 Audio Decoder 同时生成文本和音频。OrJ28资讯网——每日最新资讯28at.com

百川智能构建了一个包含 3.4 亿条高质量图片 / 视频-文本数据和近 100 万小时音频数据的庞大数据库，且在 SFT 阶段使用了 1700 万条全模态数据。OrJ28资讯网——每日最新资讯28at.com

附开源地址如下：OrJ28资讯网——每日最新资讯28at.com

GitHub：OrJ28资讯网——每日最新资讯28at.com

https://github.com/baichuan-inc/Baichuan-Omni-1.5OrJ28资讯网——每日最新资讯28at.com

模型权重：OrJ28资讯网——每日最新资讯28at.com

Baichuan-Omni-1.5：OrJ28资讯网——每日最新资讯28at.com

https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5OrJ28资讯网——每日最新资讯28at.com

https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5OrJ28资讯网——每日最新资讯28at.com

Baichuan-Omni-1.5-Base：OrJ28资讯网——每日最新资讯28at.com

https://huggingface.co/baichuan-inc/Baichuan-Omni-1d5-BaseOrJ28资讯网——每日最新资讯28at.com

https://modelers.cn/models/Baichuan/Baichuan-Omni-1d5-BaseOrJ28资讯网——每日最新资讯28at.com

技术报告：OrJ28资讯网——每日最新资讯28at.com

https://github.com/baichuan-inc/Baichuan-Omni-1.5/blob/main/baichuan_omni_1_5.pdfOrJ28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-10216-0.html百川智能上线开源全模态模型 Omni-1.5，号称多项能力超越 GPT-4o mini

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： Hugging Face 推出号称“世界上最小的视觉语言模型”SmolVLM-256M

下一篇： 印度首富计划建设“世界最大”数据中心，预计投资 200~300 亿美元