当前位置:首页 > 元宇宙 > AI

谷歌发布 Mirasol:30 亿参数,将多模态理解扩展到长视频

来源: 责编: 时间:2023-11-20 17:10:26 254观看
导读 11 月 16 日消息,谷歌公司近日发布新闻稿,介绍了小型人工智能模型 Mirasol,可以回答有关视频的问题并创造新的记录。AI 模型目前很难处理不同的数据流,如果要让 AI 理解视频,需要整合视频、音频和文本等不同模态的

11 月 16 日消息,谷歌公司近日发布新闻稿,介绍了小型人工智能模型 Mirasol,可以回答有关视频的问题并创造新的记录。4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

AI 模型目前很难处理不同的数据流,如果要让 AI 理解视频,需要整合视频、音频和文本等不同模态的信息,这大大增加了难度。4tS28资讯网——每日最新资讯28at.com

谷歌和谷歌 Deepmind 的研究人员提出了新的方法,将多模态理解扩展到长视频领域。4tS28资讯网——每日最新资讯28at.com

借助 Mirasol AI 模型,该团队试图解决两个关键挑战:4tS28资讯网——每日最新资讯28at.com

需要以高频采样同步视频和音频,但要异步处理标题和视频描述。4tS28资讯网——每日最新资讯28at.com

视频和音频会生成大量数据,这会让模型的容量紧张。4tS28资讯网——每日最新资讯28at.com

谷歌在 Mirasol 中使用合路器(combiners)和自回归转换器(autoregressive transformer)模型。4tS28资讯网——每日最新资讯28at.com

该模型组件会处理时间同步的视频和音频信号,然后再将视频拆分为单独的片段。4tS28资讯网——每日最新资讯28at.com

转换器处理每个片段,并学习每个片段之间的联系,然后使用另一个转换器处理上下文文本,这两个组件交换有关其各自输入的信息。4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

名为 Combiner 的新颖转换模块从每个片段中提取通用表示,并通过降维来压缩数据。每个段包含 4 到 64 帧,该模型当前共有 30 亿个参数,可以处理 128 到 512 帧的视频。4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

在测试中,Mirasol3B 在视频问题分析方面达到了新的基准,体积明显更小,并且可以处理更长的视频。使用包含内存的组合器变体,该团队可以将所需的计算能力进一步降低 18%。4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

4tS28资讯网——每日最新资讯28at.com

在此附上 Mirasol 的官方新闻稿,感兴趣的用户可以深入阅读。4tS28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-2592-0.html谷歌发布 Mirasol:30 亿参数,将多模态理解扩展到长视频

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 浙江卫健委推出可陪诊数字健康人“安诊儿”:基于支付宝技术,可提供全流程陪伴

下一篇: TPC 联盟成立:目标万亿以上参数 AI 模型,推进科学发现

标签:
  • 热门焦点
Top