当前位置：首页 > 元宇宙 > 元宇宙

AI绘画的下一站：“AI拍电影” 问世

来源：责编：时间：2023-08-11 16:53:39 279观看

导读当大家还在惊叹和沉浸于AI文本转图像产出的精妙画作的时候，一些闷声做大事的团队已经在人工智能研究上迈向了一个新的领域—文本转视频 9月29日，扎克伯格在facebook上发布了一条关于Make-A-Video人工

当大家还在惊叹和沉浸于AI文本转图像产出的精妙画作的时候，一些闷声做大事的团队已经在人工智能研究上迈向了一个新的领域—文本转视频

9月29日，扎克伯格在facebook上发布了一条关于Make-A-Video人工智能系统的帖子，并附上了一段20s的视频，视频中汇总了Make-A-Video系统通过文本生成视频的一些片段。给Make-A-Video一个文本描述，它就可以为您创建一段视频。

自文本转图像AI技术发布以来，也才过了几个月，人工智能技术就发展成将静态图直接飞升成动态视频了，一句话就能生成视频，不得不说近两年AI发展的速度有点近乎疯狂。

不过在Meta发布之后仅一周，谷歌就紧随其后发布了他们在人工智能领域的最新成果Imagen Video和Phenaki两种模型，前者可以生成1280*768分辨率，24帧/秒的高清视频，后者可以将一系列的文本提示生成连贯的长视频。这么看Meta的Make-A-Video还是逊色一点。

其实文本生成视频技术并不是什么新鲜事儿，早在今年的6月份，清华&智源研究院就自研了“一句话生成视频”的模型CogVideo，并且将这一模型在gitub上开源了（刚发布不久立马就出圈了）

下面我们就一起来了解下这三个团队各自的模型到底如何吧。

01

CogVideo

CogVideo可以生成分辨率为480*480（画质有点渣），4秒（帧数32张）左右的视频，而且在生成真实的对象，以及内容一致性和运动真实性方面的表现相较于当时的其他视频生成AI模型来说都要更好，从下图的我们不难看出这一点，生成的实际人物相关的视频看上去都比较自然和流畅。

（团队用CogVideo生成的视频片段）

但是有些地方还是值得再探究下，比如这个狮子正在喝水的视频，CogVideo是直接给狮子加上了一双手，这和我们的常规认知是背道而驰的，仿佛只是把人的手拿水喝这个动作和狮子做了一个拼接。不过在Meta的Make-A-Video生成的视频中也存在类似的情况。

那接下来我们就看看Make-A-Video的表现吧！

02

Make-A-Video

Make-A-Video目前已经实现了下面三个功能

文字转视频
图片转视频（将一张图片变为动态视频或者将两张图片合成为一个视频）
通过原始视频生成视频的变体

Meta的官网上也给出了一些的案例。

（由于案例较多，其余案例信息请前往：https://makeavideo.studio/）

目前Make-A-Video生成的视频画质看起来有点粗糙，且视频呈现的动作样貌也还不够自然协调，不过相比CogVideo，Make-A-Video提供了更多样的生成视频的玩法，而且生成出的视频想象力也更丰富。

03

Imagen Video & Phenaki

首先值得一提的是Imagen Video的清晰度，相比前两个系统生成的视频有了非常大的提升，目前支持生成1280*768分辨率，24帧/秒的视频，下面是官网放出的视频案例效果片段。

（更多案例请前往 https://imagen.research.google/video/ ）

Imagen Video不仅能生成高清视频，而且具有高度的可控性，能理解并生成不同艺术风格的作品。

甚至还能理解3D结构

最重要的是 Imagen Video 能够生成各种不同风格的文本动画

不过目前谷歌方面表示不会发布 Imagen Video 模型或其源代码，以避免存在模型可能被滥用于制造虚假、仇恨、露骨或有害的内容。

通过官网和论文公布的信息可以了解到Phenaki目前可以做到

1. 通过不同的描述切换生成的视频风格或切换场景，生成连贯多样化的视频

2. 给一个静态的图像作为第一帧+一段文本描述就可以生成一个视频

3. 通过一连串的文字描述描述生成2分钟以上的长视频（视频案例请移步Phenaki官网查看：https://phenaki.github.io/#interactive）

而且生成的视频还具备故事情节。这样的话，那未来是不是人人都可以通过文本创建视频，就不需要拍摄和剪辑了（惊讶！！！）如果真的能实现，那可能会给视频行业带来翻天覆地的变化。目前Meta和Google团队都暂未提供线上试用入口，有感兴趣的朋友可以去尝试用下CogVideo在线网页看看文字转视频的效果（可点击原文链接跳转）：

网址：https://huggingface.co/spaces/THUDM/CogVideo

文字转视频的AI技术在短短的几个月内就已经取得了巨大的进展，似乎每天都有新的突破，难以想象再过几个月这个技术是不是又会迈向了一个新的阶层，一起拭目以待吧！

更多最新资讯和业内领先方案分析关注九日论道哟。也欢迎大家加入我们的知识星球，星球也正在做第二年的续费哈。

本文链接：http://www.28at.com/showinfo-40-498-0.htmlAI绘画的下一站：“AI拍电影” 问世

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：中美科技巨头死磕元宇宙

下一篇：中青宝推出元宇宙婚礼，这么好的题材又玩砸了

标签：

热门焦点

风口已至，多领域平台融入社交元素！

在众多领域平台中，社交元素都扮演着重要角色，如直播营销带货、线上配对听歌、游戏局内互动等。随着元宇宙时代的来临，社交产品不断升级，社交元素推动流量变现，多平台领域融入社交
关于年度热词NFT，除了钱，我们还可以聊点啥？

每到年底，社交媒体总少不了年度盘点、年度总结、年度热词。如果让你来总结2021年度热词，你会想到什么？柯林斯词典将年度热词颁给了“NFT”，而其理由是：一个缩写词的
“元宇宙”里过大年，《迷你世界》在做一场怎样的实验？

2021年是游戏行业不确定性急剧上升的一年。一方面游戏正风光无限，腾讯等大厂更加密集地投资动作，让游戏创投市场异常火热，"元宇宙"概念的大放异彩，更是吸引了Netfl
下一个黄金赛道？NFT的碎片化!

碎片化可能是我们一生中最重要的一个投资趋势，碎片化本身并不新鲜。它已经存在了400年之久。早在1602年，荷兰东印度公司是历史上第一家在公共证券交易所上市的公
元宇宙需要的5个重要安全功能

元宇宙的可能用途使其成为一个令人难以置信的概念，但是，就像科技界的任何事物一样，需要做一些事情来控制其使用。元宇宙的安全功能需要仔细考虑和开发，以保护用户
王老吉启动元宇宙“吉空间”，HTC发布元宇宙应用VIVERSE

今日《元宇宙新鲜事》有：王老吉启动元宇宙“吉空间”；HTC发布元宇宙应用VIVERSE；Meta将在马德里构建一个元宇宙创新中心；央视网《新闻+》推出系列视频《聊聊元宇宙
虚拟人的3大纪律和6种品牌孵化模式

作者：陈格雷（老小格）及团队虚拟人很热，我们最近广泛收集和研究了、各种消费品牌企业在虚拟人开发上的一些主要特点，整理出6种最主要的品牌虚拟人模式，后面一一介绍。
元宇宙的应用行业研究：娱乐可能是元宇宙落地最快的场景之一

近日，毕马威正式发布其《初探元宇宙》报告，这也是毕马威在元宇宙领域发布的首份报告。报告指出，元宇宙在以下十个领域的应用场景尤其值得期待，包括娱乐、社交、零
这场虚拟发布会，当面“造假”！

英伟达去年4月份那场发布会，你曾看出什么不对劲的地方吗？你品，你细品——在计算机图形学顶会SIGGRAPH 2021上，英伟达通过一部纪录片自曝：那场发布会内藏玄机~你看到