当前位置：首页 > 元宇宙 > AI

谷歌发布 Mirasol：30 亿参数，将多模态理解扩展到长视频

来源：责编：时间：2023-11-20 17:10:26 250观看

导读 11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的

11 月 16 日消息，谷歌公司近日发布新闻稿，介绍了小型人工智能模型 Mirasol，可以回答有关视频的问题并创造新的记录。

AI 模型目前很难处理不同的数据流，如果要让 AI 理解视频，需要整合视频、音频和文本等不同模态的信息，这大大增加了难度。

谷歌和谷歌 Deepmind 的研究人员提出了新的方法，将多模态理解扩展到长视频领域。

借助 Mirasol AI 模型，该团队试图解决两个关键挑战：

需要以高频采样同步视频和音频，但要异步处理标题和视频描述。

视频和音频会生成大量数据，这会让模型的容量紧张。

谷歌在 Mirasol 中使用合路器（combiners）和自回归转换器（autoregressive transformer）模型。

该模型组件会处理时间同步的视频和音频信号，然后再将视频拆分为单独的片段。

转换器处理每个片段，并学习每个片段之间的联系，然后使用另一个转换器处理上下文文本，这两个组件交换有关其各自输入的信息。

名为 Combiner 的新颖转换模块从每个片段中提取通用表示，并通过降维来压缩数据。每个段包含 4 到 64 帧，该模型当前共有 30 亿个参数，可以处理 128 到 512 帧的视频。

在测试中，Mirasol3B 在视频问题分析方面达到了新的基准，体积明显更小，并且可以处理更长的视频。使用包含内存的组合器变体，该团队可以将所需的计算能力进一步降低 18%。

在此附上 Mirasol 的官方新闻稿，感兴趣的用户可以深入阅读。

本文链接：http://www.28at.com/showinfo-45-2592-0.html谷歌发布 Mirasol：30 亿参数，将多模态理解扩展到长视频

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：浙江卫健委推出可陪诊数字健康人“安诊儿”：基于支付宝技术，可提供全流程陪伴

下一篇： TPC 联盟成立：目标万亿以上参数 AI 模型，推进科学发现

标签：

热门焦点

【东方证券】虚拟世界照进现实，元宇宙中有什么？ | 元宇宙Meta洞见

元宇宙的表现形式大多以游戏为起点，并逐渐整合互联网、数字化娱乐、社交网络等功能，长期来看甚至可以整合社会经济与商业活动。元宇宙的发展最关键的部分在于元
超跑与NFT的首次结合，兰博基尼能否破局？

兰博基尼公司近日称即将推出它的首款NFT，并且将加速进军区块链领域。这家闻名遐迩的意大利汽车厂商野心勃勃地将目光投向混合动力和电动跑车，并宣布将拍卖与瑞士
中国银保监管委提示：谨慎投资，勿做接盘侠

中国银保监管委，发布一则风险提示，内容围绕防范以“元宇宙”名义进行的非法集资风险。原文如下：近期，一些不法分子蹭热点，以“元宇宙投资项目”“元宇宙链游”等名
Terra链上TVL跃升至第二

据DefiLlama数据显示，当前,Terra链上应用锁仓的加密资产价值（TVL）为172.1亿美元，在公链板块中已跃升至第二，超越了币安智能链TVL的118亿美元，TVL排名居首的仍为以太
数字经济、数据要素与数字治理

深入理解数字经济与数据要素，有利于更准确理解和把握数字治理的基本规律，构建面向未来的健康的数字治理体系，也才能更好地理解元宇宙的治理框架。一、数字经济
量子计算在未来能否提高区块链技术的效率

区块链技术的主要成功之处在于对不透明的金融流程进行了去中心化的访问量子计算机的内在目标是解决传统计算机不可能解决的问题随着区块链技术的使用案例逐渐
新闻业在元宇宙的现状和未来

“美联社有毛病吧，这真的过分了！”，一位媒体编辑在推特中愤怒地表示。这是针对一款视频NFT的批评言论之一，之后取消了此次销售，因为该视频呈现了移民穿越地中海的苦
元宇宙收割了谁

作者：晓宇资本将元宇宙看作下一代互联网的门票，画大饼、割韭菜就成了一大选项。2021年被称为元宇宙元年。在这一年里，先是号称元宇宙第一股的沙盒游戏Roblox盛装
虚拟人行业研究报告

最早的虚拟人出现于 20 世纪 80 年代，受限于技术，当时的虚拟人制作以手绘为主。21 世纪初，随着动捕、渲染等技术的逐步发展，虚拟人相关技术开始在影视领域逐渐普及