当前位置:首页 > 元宇宙 > AI

谷歌推出多模态 VLOGGER AI:让静态肖像图动起来“说话”

来源: 责编: 时间:2024-03-21 09:43:54 300观看
导读 3 月 19 日消息,谷歌近日在 GitHub 页面发布博文,介绍了 VLOGGER AI 模型,用户只需要输入一张肖像照片和一段音频内容,该模型可以让这些人物“动起来”,富有面部表情地朗读音频内容。VLOGGER AI 是一种适用于虚拟

3 月 19 日消息,谷歌近日在 GitHub 页面发布博文,介绍了 VLOGGER AI 模型,用户只需要输入一张肖像照片和一段音频内容,该模型可以让这些人物“动起来”,富有面部表情地朗读音频内容。qaZ28资讯网——每日最新资讯28at.com

qaZ28资讯网——每日最新资讯28at.com

VLOGGER AI 是一种适用于虚拟肖像的多模态 Diffusion 模型,使用 MENTOR 数据库进行训练,该数据库中包含超过 80 万名人物肖像,以及累计超过 2200 小时的影片,从而让 VLOGGER 生成不同种族、不同年龄、不同穿着、不同姿势的肖像影片。qaZ28资讯网——每日最新资讯28at.com

qaZ28资讯网——每日最新资讯28at.com

研究人员表示:“和此前的多模态相比,VLOGGER 的优势在于不需要对每个人进行训练,不依赖于人脸检测和裁剪,可以生成完整的图像(而不仅仅是人脸或嘴唇),并且考虑了广泛的场景(例如可见躯干或不同的主体身份),这些对于正确合成交流的人类至关重要”。qaZ28资讯网——每日最新资讯28at.com

Google 将 VLOGGER 视为迈向“通用聊天机器人”的一步,之后 AI 就可以通过语音、手势和眼神交流以自然的方式与人类互动。qaZ28资讯网——每日最新资讯28at.com

VLOGGER 的应用场景还包括可以用于报告、教育场域和旁白等,也可剪辑既有的影片,如果对影片中的表情不满意就能加以调整。qaZ28资讯网——每日最新资讯28at.com

附上论文参考qaZ28资讯网——每日最新资讯28at.com

VLOGGER: Multimodal Diffusion for Embodied Avatar SynthesisqaZ28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-3644-0.html谷歌推出多模态 VLOGGER AI:让静态肖像图动起来“说话”

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 联想与英伟达合作,推出全新混合 AI 解决方案

下一篇: Canalys 预估 2025 年 AI PC 占全球 PC 出货量的 40%

标签:
  • 热门焦点
  • FMIFAwards奖项即将揭晓!

    来源:X增强现实FMIF Awards未来元宇宙创新奖是由未来元宇宙创新论坛、ARinChina以及多家投资机构、媒体、研究院联合发起的一项评选活动。旨在推动新技术的融合与集成低成本
  • 拯救XR,苹果力不从心

    来源 | 光子星球撰文 | 文烨豪 编辑 | 吴先之 苹果终于呈上了它的“答卷”。 北京时间6月6日凌晨,苹果2023年全球开发者大会(WWDC)如期举行。作为苹果CEO库克口中&ld
  • 大厂元宇宙,又菜又爱玩

    撰文 | 吴先之 编辑 | 王 潘当下所有大厂推出的元宇宙产品,所能带来的沉浸式体验并不多,好在国内外科技巨头在bug方面都处在同一水平线。以Meta为例,由于VR头显设
  • Niantic与索尼在音频AR领域达成合作;​苹果为Apple Park申请形象化商标

    今日热点:迪士尼任命新高管负责元宇宙业务;iFixit成为Valve Index VR头显和Steam Deck首家零件销售商;Niantic与索尼达成合作,将为AR游戏《Ingress》带来音频体验;V
  • 顶流IP“冰墩墩”带着中国元素NFT进入全球视野

    一场被国际奥委会主席评价堪称独具匠心、非凡卓越的2022年北京冬季奥运会,在这个“双奥之城”经历了16个令人难忘的精彩日夜,最终圆满闭幕。让我们印象深刻的不
  • 索尼公布PSVR 2头显渲染图;社区开发者发布Quest版《我的世界》

    近日热点:索尼正式公布PSVR 2头显及控制器官方渲染图;入局元宇宙,鸿海科技与XRSPACE签订合作备忘录;研究人员表示面部追踪可增强VR操控体验;社区开发者QuestCraft发
  • 2030年的元宇宙产业将会如何发展?

    对互联网巨头传统业务的反垄断政策倒逼互联网企业颠覆创新,寻找新的增长点,移动互联网流量空间见顶之际,元宇宙时代红利已然开启。序章:元宇宙应用场景大猜想元宇
  • NFT艺术家Hayley Rincon 专访:我的迷幻数字艺术之路

    Hayley Rincon是一位令人印象深刻才华横溢的创作者,她的作品呈现出迷幻的气息。今天就来聊聊她的艺术作品,和她自己的数字艺术之路。Hayley是加利福尼亚湾区的有
  • Web 3如何改变传统HR

    互联网自诞生以来,经历了三次迭代。Web1是第一阶段,包括ISP服务器上的个人网页或免费的虚拟主机服务。然后Web2出现了,它引入了动态的用户生成内容、互操作性、增
Top