当前位置:首页 > 元宇宙 > AI

AI 逆向绘画:一键重绘梵高《罗纳河上的星夜》,来自华盛顿大学

来源: 责编: 时间:2024-10-16 15:25:20 587观看
导读 梵高名作也能被 AI 逆向破解了?!直接喂一张原图,AI 就能化身梵高・本高一点点重绘整张图画(原图可任意)。▲梵高《罗纳河上的星夜》仔细对照两边,AI 几乎实现了 1:1 复刻,还为我们这些绘画小白清晰展示了整幅图的构

梵高名作也能被 AI 逆向破解了?!4rN28资讯网——每日最新资讯28at.com

直接喂一张原图,AI 就能化身梵高・本高一点点重绘整张图画(原图可任意)。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

▲梵高《罗纳河上的星夜》

仔细对照两边,AI 几乎实现了 1:1 复刻,还为我们这些绘画小白清晰展示了整幅图的构建过程。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

这项魔法来自华盛顿大学,项目名为 Inverse Painting,相关论文已入选 SIGGRAPH Asia 2024,其中两位作者还是东北大学(Bowei Chen )和上海科技大学(Yifan Wang)的校友。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

项目一经发布后即在 Reddit 引起热议,最高赞更是为艺术家群体操起了心(doge)。4rN28资讯网——每日最新资讯28at.com

艺术家可能会对此感到愤怒4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

不过也有人表示,这对于人们学习如何绘画非常有帮助。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

甚至可以用来“破解”一些大师遗作,提取隐藏或失传的技术。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

基于扩散模型

从原图 → 绘画过程延时视频,Inverse Painting 采用基于扩散的逆绘画方法。4rN28资讯网——每日最新资讯28at.com

通过学习真实艺术家的绘画视频,结合文本和区域理解来定义绘画“指令”,并使用基于扩散的渲染器更新画布,从而生成类似于人类艺术家绘画过程的视频。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

进一步拆解,这一过程主要包括以下步骤:4rN28资讯网——每日最新资讯28at.com

学习艺术家的绘画过程。收集了 294 个丙烯酸风景画绘画过程视频(平均时长 9 分钟),并进行视频帧分割、裁剪和筛选等预处理操作,让模型学习绘画过程;4rN28资讯网——每日最新资讯28at.com

定义绘画指令。基于对画作不同元素(比如天空、树木、人物等)以及元素相互关系的理解,模型会生成一组“绘画指令”,告诉模型应该先画什么,后画什么;4rN28资讯网——每日最新资讯28at.com

使用扩散模型。用扩散模型生成逼真图像,并逐步在画布上添加细节,就像艺术家绘画时一样;4rN28资讯网——每日最新资讯28at.com

文本和区域理解。模型还会生成文本指令和区域掩码,前者告诉模型要绘制的内容,后者用来指定内容的确切位置;4rN28资讯网——每日最新资讯28at.com

逐步渲染。从一个空白画布开始,逐步生成完整绘画过程;4rN28资讯网——每日最新资讯28at.com

时间控制。为了模拟真实世界中艺术家的绘画速度,模型还会考虑每步之间的时间间隔;4rN28资讯网——每日最新资讯28at.com

这些步骤整体可归为两阶段训练 + 测试,如下所示:4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

第一阶段:指令生成(Instruction Generation)

这个阶段主要生成两个关键指令集,文本指令生成器(Text Instruction Generator)和区域掩码生成器(Mask Instruction Generator)。4rN28资讯网——每日最新资讯28at.com

前者通过比较目标画作和当前画布的状态,生成一个简短的文本指令,比如“画天空”或“加花朵”,以此决定下一步应该添加哪些元素。4rN28资讯网——每日最新资讯28at.com

后者是一个二进制图像,指明了画布上应该更新哪些部分。4rN28资讯网——每日最新资讯28at.com

两者一结合,确保模型只在画布上合适的区域进行绘制。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

▲生成的文本指令第二阶段:画布渲染(Canvas Rendering)

接下来使用第一阶段生成的指令来更新画布。4rN28资讯网——每日最新资讯28at.com

利用文本指令和区域掩码,以及当前画布的图像和目标画作,一个基于扩散的渲染器被用来更新画布。4rN28资讯网——每日最新资讯28at.com

这个渲染器采用了一种叫做“去噪扩散概率模型”的技术,它逐步从噪声图像中去除噪音,以生成连续的图像帧。4rN28资讯网——每日最新资讯28at.com

总之,渲染器在更新画布时会考虑多种条件信号,包括文本指令、区域掩码、时间间隔,以及目标画作和当前画作的特征。4rN28资讯网——每日最新资讯28at.com

这些条件信号帮助渲染器更准确地模拟人类艺术家的绘画风格和过程。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

测试(Test-Time Generation)

在测试阶段,模型使用训练好的管道从头开始生成一幅画作。4rN28资讯网——每日最新资讯28at.com

这里主要有两个关键:4rN28资讯网——每日最新资讯28at.com

自回归过程。每一步都依赖于前一步生成的结果,以此生成一个连贯的绘画过程;4rN28资讯网——每日最新资讯28at.com

固定时间间隔。在每一步之间采用固定时间来更新画布,模拟真实绘画过程中的时间流逝;4rN28资讯网——每日最新资讯28at.com

最终,与三个基线方法(Timecraft、Paint Transformer、Stable Video Diffusion)相比,其生成结果明显更优。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

同时,相关变体也取得了 SOTA 结果。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

其中两位作者为华人

简单介绍下项目作者,一共 5 位,其中两位是华人。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

Bowei Chen (陈柏维),本科就读于国内东北大学软件工程专业(2016 年入学),后分别在卡内基梅隆大学机器人研究所和华盛顿大学攻读硕博。4rN28资讯网——每日最新资讯28at.com

研究兴趣为计算机视觉和图形学的交叉点,重点是图像和视频生成。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

Yifan Wang,本科就读于上海科技大学计算机专业,今年刚获得华盛顿大学 CS 博士学位。4rN28资讯网——每日最新资讯28at.com

个人主页显示了多段工作经历(含字节、谷歌、Adobe 等),目前是 Meta Reality Labs Research 的一名研究科学家。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

实际上,这个团队进行的 AI 逆向绘画之前也有,网友们还提到了 Paints Undo 这个项目。4rN28资讯网——每日最新资讯28at.com

当时主要应用于动漫领域,短短 3 个月已在 GitHub 揽星 3.3K。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

对于这事儿,人们一直褒贬不一,最大争议在于人们担心有人会利用 AI 谎称作者。4rN28资讯网——每日最新资讯28at.com

毕竟通过讲解艺术思路是作者证明作品原创性的手段之一。4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

甚至对于它能教人们学绘画这事儿,也有网友以自身经历出来反驳:4rN28资讯网——每日最新资讯28at.com

目前不太符合真实绘画过程4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

4rN28资讯网——每日最新资讯28at.com

所以,有了解绘画的童鞋来说说看吗?4rN28资讯网——每日最新资讯28at.com

参考链接:4rN28资讯网——每日最新资讯28at.com

[1]https://inversepainting.github.io/4rN28资讯网——每日最新资讯28at.com

[2]https://www.reddit.com/r/singularity/comments/1fybddi/inverse_painting_can_generate_timelapse_videos_of/4rN28资讯网——每日最新资讯28at.com

本文来自微信公众号:量子位(ID:QbitAI),作者:一水,原标题《AI 逆向绘画火了!一键重绘梵高《星空》,来自华盛顿大学》4rN28资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-45-8634-0.htmlAI 逆向绘画:一键重绘梵高《罗纳河上的星夜》,来自华盛顿大学

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 首个开源 AI 候选版定义稿发布:四大要求,训练数据上有妥协

下一篇: 微软助推医疗行业 AI 变革:新增智能体服务、扩充 Azure 大模型

标签:
  • 热门焦点
  • AI界地震!美国对OpenAI展开调查!监管风暴来袭!

    AI界地震!美国对OpenAI展开调查!监管风暴来袭!

    来源:清元宇宙还记得5月OpenAI在国会山听证会上的自信、坦诚、游刃有余的问答吗?那时的Sam Altman可谓意气风发,在耐心、友好的国会议员面前,就AI立法、大模型安全性问题侃侃而
  • 在元宇宙卖酸奶,这波联动燃爆了!

    在元宇宙卖酸奶,这波联动燃爆了!

    来源:品牌头版 或许,每个人心中都住着一个小馋孩。可能是童年时百吃不厌,觉得新奇又有趣的跳跳糖;可能是味道香甜,咬下一口嘎嘣脆的扁桃仁;还有可能,是某种不知为什么,就是很爱吃的
  • 元宇宙里掀起回忆杀?这波虚拟怀旧营销主打一个极限反差

    元宇宙里掀起回忆杀?这波虚拟怀旧营销主打一个极限反差

    来源:首席品牌官从被称为“元宇宙元年”的2021年开始,几乎所有品牌都在迫不及待地“入驻”元宇宙。而一提及品牌们的元宇宙玩法,相信多数人脑海里首先浮现
  • 刷完一场元宇宙世界杯音乐盛典,我爽了

    刷完一场元宇宙世界杯音乐盛典,我爽了

    作者|刘小土编辑|李春晖你有多久没完整追过一场音乐盛典了?三刷都不嫌多的那种。按照惯例,每逢年底,直播、长短视频、音乐平台便会抢着端上来几场音乐盛典。搁以
  • 2022 区块链 50 强榜单;垃圾NFT项目的十三个特性

    2022 区块链 50 强榜单;垃圾NFT项目的十三个特性

    本期关键字TerraZero在Decentraland完成元宇宙住房抵押贷款;腾讯发行齐白石画作数字藏品;Ripple成为数字欧元协会成员;Gem上线稀有度排名功能;2022 区块链 50 强榜
  • 元宇宙时代NFT的价值衡量

    元宇宙时代NFT的价值衡量

    有人认为NFT的高昂价格只是炒作的产物,并不具有其对等的价值,但其实NFT并不是空中楼阁,只是区块链数字分类账中的一种形式。诚然,目前的NFT仍处于灰色地带,相关的法
  • 百度元宇宙希壤是什么?(附下载)

    百度元宇宙希壤是什么?(附下载)

    百度元宇宙希壤是什么,最近很多人关注。还有很多人问希壤怎么下载、百度希壤怎么进入?今天小编带你来全面了解一下。“希壤”是百度于2021年12月27日于百度AI开
  • 2022年中国元宇宙系列报告:底层架构研究:虚拟引擎,擎动未来

    2022年中国元宇宙系列报告:底层架构研究:虚拟引擎,擎动未来

    “虚拟引擎是元宇宙平台搭建的基本工具。在这样的条件下,虚拟引擎拥有了广阔的市场空间。也需要虚拟引擎拥有拥有强大的处理能力,能够高效快速的实现大量交互场
  • 虚拟邓丽君后,数字人赛道开启3.0时代

    虚拟邓丽君后,数字人赛道开启3.0时代

    “如果右脑时代来临,虚拟世界将是对人类才华的无限放大。” 郭晓喆称,开发数字人形象时,自己的团队在内部“卷”了一下:“当我们翻阅大量历史典籍的时候,苏小妹找到
Top