播客神器：微软开源 VibeVoice-1.5B 音频模型，支持中文、可生成 90 分钟 4 人聊天语音

8 月 27 日消息，科技媒体 marktechpost 于 8 月 25 日发布博文，报道称微软发布开源文本转语音（TTS）模型 VibeVoice-1.5B，可一次生成最长 90 分钟、最多 4 位不同说话者的自然语音，并支持跨语言及歌声合成。wcn28资讯网——每日最新资讯28at.com

在架构方面，VibeVoice-1.5B 基于 1.5B 参数的 Qwen2.5 语言模型，结合声学（Acoustic）与语义（Semantic）双分词器（Tokenizer），以 7.5Hz 低帧率处理。wcn28资讯网——每日最新资讯28at.com

wcn28资讯网——每日最新资讯28at.com

声学分词器使用 σ-VAE 结构，将 24kHz 原始音频压缩至 3200 分之一；语义分词器则通过语音识别代理任务训练，保留对话语义。解码端采用 1.23 亿参数的扩散解码器，结合分类器自由引导和 DPM-Solver，来提升音质与细节表现。wcn28资讯网——每日最新资讯28at.com

wcn28资讯网——每日最新资讯28at.com

该模型为确保在长篇对话中保持语音连贯性与说话人一致性，在训练中逐步扩展上下文长度，从 4k 至 65k Tokens，其架构支持多说话者的轮流发言，模拟自然对话场景，且可在流式模式下生成长音频，为未来实时 TTS 奠定基础。wcn28资讯网——每日最新资讯28at.com

VibeVoice-1.5B 也有局限，目前仅支持英语与中文，其他语言可能出现不准确或不当内容；不支持说话人语音重叠，也无法生成背景音效或音乐。微软明确禁止将该模型用于声音冒充、虚假信息传播或绕过身份验证等用途，并提醒用户遵守法律并标明 AI 生成来源。wcn28资讯网——每日最新资讯28at.com

微软表示，该模型主要面向科研和开发者社区，适合播客制作、对话式 AI、语音内容生成等领域。未来将推出参数更大的 7B 版本，支持低延迟交互和更高保真度的实时合成，进一步拓展应用场景。wcn28资讯网——每日最新资讯28at.com

附上参考地址wcn28资讯网——每日最新资讯28at.com

微软 VibeVoice-1.5B 技术报告wcn28资讯网——每日最新资讯28at.com

Hugging Face wcn28资讯网——每日最新资讯28at.com

GitHubwcn28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-27066-0.html播客神器：微软开源 VibeVoice-1.5B 音频模型，支持中文、可生成 90 分钟 4 人聊天语音

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 使用盗版书籍训练 AI，Anthropic 与作家群体就集体诉讼达成和解

下一篇： ChatGPT 被指导致美国一名 16 岁少年自杀：未有效干预且起到“教学”作用