科学家开发 DIRFA：输入图片和音频，可生成说话视频

11 月 17 日消息，来自新加坡南洋理工大学（NTU Singapore）的科研团队近日开发出了 DIRFA 工具，用户给一张图片以及音频内容，可以自动生成 3D 视频，并实现口型和声音的同步协调。Ed528资讯网——每日最新资讯28at.com

Ed528资讯网——每日最新资讯28at.com

DIRFA 的全称为 DIverse yet Realistic Facial Animations，训练了超过 6000 多人的 100 万个视频片段，音频片段来自一个名为 VoxCeleb2 数据集的开源数据库，并关联面部表情和头部运动。Ed528资讯网——每日最新资讯28at.com

Ed528资讯网——每日最新资讯28at.com

研究人员表示，DIRFA 可能会在包括医疗保健在内的各个行业和领域带来新的应用，因为它可以实现更复杂和逼真的虚拟助手和聊天机器人，从而改善用户体验。Ed528资讯网——每日最新资讯28at.com

DIRFA 还可以作为言语或面部残疾人士的强大工具，帮助他们通过富有表现力的头像或数字表示来传达他们的想法和情感，从而增强他们的沟通能力。Ed528资讯网——每日最新资讯28at.com

附上论文参考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu.Audio-driven talking face generation with diverse yet realistic facial animations.Pattern Recognition, 2023; 144: 109865 DOI:10.1016/j.patcog.2023.109865Ed528资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-2607-0.html科学家开发 DIRFA：输入图片和音频，可生成说话视频

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 27 亿参数，微软发布 Phi-2 模型：某些性能指标优于 Llama-2-7B

下一篇： 谷歌将“水印”嵌入人工智能生成的音乐中，人耳无法察觉