当前位置：首页 > 元宇宙 > AI

谷歌 DeepMind 新研究：利用 AI 模型为无声视频配音

来源：责编：时间：2024-06-21 08:32:51 99观看

导读 6 月 18 日消息，据谷歌DeepMind新闻稿，DeepMind 近日公布了一项利用AI为无声视频生成背景音乐的“video-to-audio”技术。获悉，当前 DeepMind 这款AI模型依然存在局限性，需要开发者使用提示词为模型预先“介绍”

6 月 18 日消息，据谷歌DeepMind新闻稿，DeepMind 近日公布了一项利用AI为无声视频生成背景音乐的“video-to-audio”技术。

获悉，当前 DeepMind 这款AI模型依然存在局限性，需要开发者使用提示词为模型预先“介绍”视频可能的声音，暂时不能直接根据视频画面添加具体音效。

据悉，该模型首先会将用户输入的视频进行拆解，此后结合用户的用户文字提示，利用扩散模型反复运算，最终以生成与视频画面协调的背景声音，例如输入一条“在黑暗中行走”的无声视频，再添加“电影、恐怖片、音乐、紧张、混凝土上的脚步声”等文字提示，相关模型就能生成恐怖风格的背景音效。

DeepMind同时表示，该“video-to-audio”模型可以为任何视频生成无限数量的音轨，还能够通过提示词内容判断生成的音频“正向性”或“反向性”，从而令生成的声音更贴近某些特定场景。

展望未来，DeepMind表示研究人员正进一步优化这款“video-to-audio”模型，计划未来能够让模型直接根据视频内容，无须通过提示词即可生成视频背景音，同时还将改善视频中人物对白的口型同步能力。

本文链接：http://www.28at.com/showinfo-45-4701-0.html谷歌 DeepMind 新研究：利用 AI 模型为无声视频配音

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：风清、风雷、风顺，中国气象局发布三个 AI 气象大模型系统

下一篇：金山办公 WPS AI 海外版发布，海外月活设备数已超两亿

标签：

热门焦点

茅台的元宇宙App火了，也被骂惨了

元宇宙从概念走向大众生活，并不是一件简单的事情。技术、世界观、填充内容、载体形式，每一个环节都需要层层叠叠的逻辑。但正如赛博朋克奠基人威廉·吉布
一个视频涨粉百万，柳夜熙们能成为元宇宙的“船票”吗？

当数字人成为一种生意，我们更关心的是，他们如何赚到钱，以及这意味着什么？01#“柳夜熙”爆火之后不知道大家还记不记得，去年10月31日万圣节，有一位虚拟美妆
时尚领域进军元宇宙，2022年会带来哪些颠覆性的全新体验？

想象一个你的数字身份与现实身份同样重要的世界。想象一个你需要为虚拟自我准备资产和物资的地方——你需要金钱（Crypto）、房屋（可能建在Minecraft上）和衣物。随着
Meta证实Quest 2无法实现全身追踪，未来将为虚拟化身配备“假腿”

上周，外媒UploadVR在Quest 2开发者文档中发现了从未被公布过的“身体追踪支持”选项，暗示Meta VR头显或支持全身追踪。而在最近的Instagram问答环节中，Meta Reali
2022年中国元宇宙产业系列研究报告-基础设施篇（5）

传感器是由敏感元件和转换元件构成，能够感受规定的检测量(物理量、化学量、生物量等)，并按照一定规律将检测量转化成可用的输出信号的器件和装置，进而满足信息的
元宇宙是数字共识生态的集成逻辑表达

作者: 李鸣元宇宙是数字共识生态的集成逻辑表达，是以区块链技术为核心的可信数字化价值交互网络，是基于Web3.0技术体系和运作机制支撑下的数字新生态。本体论是
与元宇宙美少女艺术家的对话

我最近宣布了我自己的NFT项目，这是我已经工作了几个月的事情。由于我之前只是一个收藏家，拥有自己的项目真的给了我一个新的视角来看待这个领域。我一直欢迎人们
花旗集团前高管加入Provenance区块链，担任CEO

No.1 花旗集团前高管加入Provenance区块链，担任CEO3月1日消息，Provenance区块链基金会已任命花旗集团前高管摩根·麦肯尼（Morgan McKenney）为新任首席执行官。麦肯
从概念到落地 Web3.0初具雏形

加密资产热潮催生出的链上应用中，除了DeFi、NFT、链游GameFi等场景外，还有一个热词叫「Web3.0」。Web3.0的概念最早出现在2014年，由以太坊联合创始人及波卡创建者