【ITBEAR】近日，来自斯坦福大学、麻省理工学院（MIT）、纽约大学以及meta-FAIR等机构的研究团队，通过全新研究对最大流形容量表示法（MMCR）的可能性进行了重新定义。这一成果为多视图自监督学习（MVSSL）领域带来了新的突破。
MVSSL作为一种强大的无监督学习方法，通过创建多个数据视图并以类似监督的方式学习表示。而MMCR作为一种与众不同的方法，在不明确使用对比、不执行聚类、不利用蒸馏、也不明确减少冗余的情况下，其效果却能媲美甚至超越其他领先的MVSSL方法。
研究人员在这项新研究中，对MMCR进行了深入探索，并将其与信息论原理联系起来，进一步揭示了其深层次机制。他们证明了MMCR可以激励学习嵌入的对齐和均匀性，同时最大化视图之间的互信息下界，从而将MMCR的几何视角与MVSSL中的信息论视角紧密结合。
为了更好地利用MMCR，研究人员还对预训练损失的非单调变化进行了数学预测和实验确认，发现了类似于双下降的行为，并揭示了计算上的scaling law。这些发现使得研究人员能够更准确地预测预训练损失，并将其作为梯度步长、批量大小、嵌入维度和视图数量的函数。
值得注意的是，这项研究还证明了MMCR不仅适用于图像数据，在多模态图像文本数据上同样表现出色。这一成果为MMCR的应用拓展了新的领域，也为多模态学习提供了新的思路和方法。
MMCR最初由纽约大学数据科学中心的研究人员于2023年提出，该方法源于神经科学中的有效编码假说。最初的MMCR框架通过调整“流形容量”将这一想法扩展到了人工神经网络。而此次研究则将MMCR的几何基础与信息论原理相结合，进一步探索了其更深层次机制。
通过高维概率分析，研究人员发现MMCR可以激励表示的最大化，对应于同一数据的两个视图的两个嵌入共享的互信息的下限。这一发现为理解MMCR的嵌入分布提供了新的视角。
研究人员还在实验中观察到了MMCR的双下降现象，即预测最大流形容量表示的预训练损失在其预训练过程中表现出非单调的双下降样行为。这一发现为MMCR的优化和应用提供了新的指导。
在计算scaling laws方面，研究人员发现MMCR预训练百分比误差与点数、嵌入维度和视图数量之间存在幂律缩放关系。这一发现为不同超参数下的MMCR训练提供了可比较的基准，也为优化MMCR的计算效率提供了新的思路。
在多模态数据应用方面，研究人员将MMCR应用于图像文本对的学习，取得了显著的效果。这一成果为多模态学习提供了新的方法和技术支持，也为MMCR的应用拓展了新的领域。
总的来说，这项研究对MMCR进行了全面的探索和重新定义，揭示了其深层次机制和应用潜力。未来，随着对MMCR的进一步研究和应用拓展，我们有望在更多领域看到其出色的表现。
本文链接：http://www.28at.com/showinfo-16-126255-0.htmlLeCun团队新突破，自监督学习再进化，MMCR如何更进一步？
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
