当前位置:首页 > 科技  > 知识百科

模型难复现不一定是作者的错,研究发现模型架构要背锅

来源: 责编: 时间:2023-08-07 16:30:03 157观看
导读 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。在不同初始化条件下,同一神经网络经过两次训练可以得到相同的结果吗?CVPR 2022的一篇研究通过将决策边界 (Decis

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。ja928资讯网——每日最新资讯28at.com

在不同初始化条件下,同一神经网络经过两次训练可以得到相同的结果吗?ja928资讯网——每日最新资讯28at.com

CVPR 2022的一篇研究通过将决策边界 (Decision Boundary)可视化的方法,给出了答案——ja928资讯网——每日最新资讯28at.com

有的容易,有的很难。ja928资讯网——每日最新资讯28at.com

例如,从下面这张图来看,研究人员就发现,ViT比ResNet要更难复现(两次训练过后,显然ViT决策边界的差异更大):ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

研究人员还发现,模型的可复现性和模型本身的宽度也有很大关联。ja928资讯网——每日最新资讯28at.com

同样,他们利用这种方法,对2019年机器学习最重要的理论之一——双下降 (Double Descent)现象进行了可视化,最终也发现了一些很有意思的现象。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

来看看他们具体是怎么做的。ja928资讯网——每日最新资讯28at.com

更宽的CNN模型,可复现性更高ja928资讯网——每日最新资讯28at.com

深度学习中的决策边界,可以用来最小化误差。ja928资讯网——每日最新资讯28at.com

简单来说,分类器会通过决策边界,把线内线外的点归为不同类。ja928资讯网——每日最新资讯28at.com

在这项研究中,作者从CIFAR-10训练集中选择了三幅随机图像,然后使用三次不同的随机初始化配置在7种不同架构上训练,绘制出各自的决策区域。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

从中我们可以发现:ja928资讯网——每日最新资讯28at.com

左边三个和右边四个差异很大,也就是说不同架构之间的相似性很低。ja928资讯网——每日最新资讯28at.com

再进一步观察,左边的全连接网络、ViT和MLP Mixer之间的决策边界图又不太一样,而右边CNN模型的则很相似。ja928资讯网——每日最新资讯28at.com

在CNN模型中,我们还可以观察到不同随机数种子之间明显的的重复性趋势,这说明不同初始化配置的模型可以产生一样的结果。ja928资讯网——每日最新资讯28at.com

作者设计了一种更直观的度量方法来衡量各架构的可复现性得分,结果确实验证了我们的直观感受:ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

并发现更宽的CNN模型似乎在其决策区域具有更高的可复现性,比如WideRN30。ja928资讯网——每日最新资讯28at.com

以及采用残差连接结构的CNN模型(ResNet和DenseNet )的可复现性得分比无此连接的模型要略高(VGG)。ja928资讯网——每日最新资讯28at.com

此外,优化器的选择也会带来影响。ja928资讯网——每日最新资讯28at.com

在下表中,我们可以看到SAM比标准优化器(如SGD和Adam)产生了更多可重复的决策边界。ja928资讯网——每日最新资讯28at.com

不过对于MLP Mixer和ViT,SAM的使用不能总是保证模型达到最高的测试精度。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

有网友表示好奇,如果通过改善模型本身的设计,能改变这种现象吗?ja928资讯网——每日最新资讯28at.com

对此作者回应称,他们已经试着调整过ViT的学习率,但得到的结果仍然比ResNet差。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

可视化ResNet-18的双下降现象ja928资讯网——每日最新资讯28at.com

双下降(Double Descent)是一个有趣的概念,描述是测试/训练误差与模型大小的关系。ja928资讯网——每日最新资讯28at.com

在此之前,大家普遍认为参数太少的模型泛化能力差——因为欠拟合;参数太多的模型泛化能力也差——因为过拟合。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

而它证明,两者的关系没有那么简单。具体来说:ja928资讯网——每日最新资讯28at.com

误差会先随着模型的增大而减小,然后经过模型过拟合,误差又增大,但随着模型大小或训练时间的进一步增加,误差又会再次减小。ja928资讯网——每日最新资讯28at.com

作者则继续使用决策边界方法,可视化了ResNet-18的双下降现象。ja928资讯网——每日最新资讯28at.com

他们通过宽度参数(k:1-64)的改变来增加模型容量。ja928资讯网——每日最新资讯28at.com

训练出的两组模型,其中一组使用无噪声标签(label noise)的训练集,另一组则带有20%的噪声标签。ja928资讯网——每日最新资讯28at.com

最终,在第二组模型中观察到了明显的双下降现象。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

对此作者表示:ja928资讯网——每日最新资讯28at.com

线性模型预测的模型不稳定性也适用于神经网络,不过这种不稳定性表现为决策区域的大量碎片。ja928资讯网——每日最新资讯28at.com

也就说,双下降现象是由噪声标签情况下决策区域的过度碎片引起的。ja928资讯网——每日最新资讯28at.com

具体来说,当k接近/达到10 (也就是插值阈值)时,由于模型此时拟合了大部分训练数据,决策区域被分割成很多小块,变得“混乱和破碎”,并不具备可重复性;此时模型的分类功能存在明显的不稳定性。ja928资讯网——每日最新资讯28at.com

而在模型宽度很窄(k=4)和很宽(k=64)时,决策区域碎片较少,有高水平的可重复性。ja928资讯网——每日最新资讯28at.com

为了进一步证明该结果,作者又设计了一个碎片分数计算方法,最终再次验证上图的观察结果。ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

模型的可复现性得分如下:ja928资讯网——每日最新资讯28at.com

ja928资讯网——每日最新资讯28at.com

同样可以看到,在参数化不足和过参数化的情况下,整个训练过程的可复现性很高,但在插值阈值处会出现“故障”。ja928资讯网——每日最新资讯28at.com

有趣的是,即使没有噪声标签,研究人员发现他们设计的量化方法也足够敏感,可以检测到可复现性的细微下降(上图蓝线部分)。ja928资讯网——每日最新资讯28at.com

目前代码已经开源,要不要来试试你的模型是否容易复现?ja928资讯网——每日最新资讯28at.com

论文地址:ja928资讯网——每日最新资讯28at.com

https://arxiv.org/abs/2203.08124ja928资讯网——每日最新资讯28at.com

GitHub链接:ja928资讯网——每日最新资讯28at.com

https://github.com/somepago/dbVija928资讯网——每日最新资讯28at.com

 ja928资讯网——每日最新资讯28at.com

本文链接:http://www.28at.com/showinfo-119-2227-0.html模型难复现不一定是作者的错,研究发现模型架构要背锅

声明:本网页内容旨在传播知识,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。邮件:2376512515@qq.com

上一篇: 七句话让AI给我做了个小游戏,还是极简版塞尔达,一玩简直停不下来

下一篇: 微软智能云在华新增数据中心区域正式启用 看好中国市场机会

标签:
  • 热门焦点
  • 摸鱼心法第一章——和配置文件说拜拜

    摸鱼心法第一章——和配置文件说拜拜

    为了能摸鱼我们团队做了容器化,但是带来的问题是服务配置文件很麻烦,然后大家在群里进行了“亲切友好”的沟通图片图片图片图片对比就对比,简单对比下独立配置中心和k8s作为配
  • 2023 年的 Node.js 生态系统

    2023 年的 Node.js 生态系统

    随着技术的不断演进和创新,Node.js 在 2023 年达到了一个新的高度。Node.js 拥有一个庞大的生态系统,可以帮助开发人员更快地实现复杂的应用。本文就来看看 Node.js 最新的生
  • 一篇聊聊Go错误封装机制

    一篇聊聊Go错误封装机制

    %w 是用于错误包装(Error Wrapping)的格式化动词。它是用于 fmt.Errorf 和 fmt.Sprintf 函数中的一个特殊格式化动词,用于将一个错误(或其他可打印的值)包装在一个新的错误中。使
  • Java NIO内存映射文件:提高文件读写效率的优秀实践!

    Java NIO内存映射文件:提高文件读写效率的优秀实践!

    Java的NIO库提供了内存映射文件的支持,它可以将文件映射到内存中,从而可以更快地读取和写入文件数据。本文将对Java内存映射文件进行详细的介绍和演示。内存映射文件概述内存
  • 如何使用JavaScript创建一只图像放大镜?

    如何使用JavaScript创建一只图像放大镜?

    译者 | 布加迪审校 | 重楼如果您曾经浏览过购物网站,可能遇到过图像放大功能。它可以让您放大图像的特定区域,以便浏览。结合这个小小的重要功能可以大大改善您网站的用户体验
  • 共享单车的故事讲到哪了?

    共享单车的故事讲到哪了?

    来源丨海克财经与共享充电宝相差不多,共享单车已很久没有被国内热点新闻关照到了。除了一再涨价和用户直呼用不起了。近日多家媒体再发报道称,成都、天津、郑州等地多个共享单
  • 10天营收超1亿美元,《星铁》比《原神》差在哪?

    10天营收超1亿美元,《星铁》比《原神》差在哪?

    来源:伯虎财经作者:陈平安即便你没玩过《原神》,你一定听说过的它的大名。恨它的人把《原神》开服那天称作是中国游戏史上最黑暗的一天,有粉丝因为索尼在PS平台上线《原神》,怒而
  • 苹果MacBook Pro 2021测试:仍不支持平滑滚动

    苹果MacBook Pro 2021测试:仍不支持平滑滚动

    据10月30日9to5 Mac 消息报道,苹果新的 14 英寸和 16 英寸 MacBook Pro 2021 上市后获得了不错的评价,亮点包括行业领先的性能,令人印象深刻的电池续航,精美丰
  • 电博会与软博会实现

    电博会与软博会实现"线下+云端"的双线融合

    在本次“电博会”与“软博会”双展会利好条件的加持下,既可以发挥展会拉动人流、信息流、资金流实现快速交互流动的作用,继而推动区域经济良性发展;又可以聚
Top