苹果机器学习研究中心近日发布了一篇引人深思的研究论文，对当前人工智能（AI）模型的思维能力与推理能力提出了质疑。论文指出，现有的AI模型，尽管在某些任务上表现出色，但实际上主要依赖模式匹配与记忆，特别是在面对复杂任务时，这一局限性尤为明显。
为了深入探讨这一问题，苹果的研究人员对当前前沿的“大型推理模型”进行了全面评估，这些模型包括OpenAI的o3-mini、DeepSeek-R1、Anthropic的Claude 3.7 Sonnet Thinking，以及谷歌的Gemini Thinking等。这些模型被广泛应用于各种场景，尤其是在生成详细“思考链”方面展现出了独特的优势。
然而，研究却发现，当问题的复杂度超过某个临界点时，这些模型的推理能力会急剧下降，甚至完全崩溃，准确率降至零。更令人惊讶的是，在推理过程中，尽管算力充足，但模型用于“思考”的token数量却随着问题难度的增加而减少，这进一步揭示了现有推理方法的根本局限性。
论文《思考的幻象：通过问题复杂性的视角理解推理模型的优势与局限》由Parshin Shojaee等人撰写，深入剖析了当前AI模型在推理方面的不足。研究人员指出，目前对AI模型的评估主要集中在数学和编程基准测试上，这种评估方式虽然可以反映模型的最终答案准确性，但却忽略了数据污染问题，也无法揭示模型内部推理轨迹的结构和质量。
为了更深入地了解AI模型的推理过程，研究人员设计了一系列可控的解谜环境，这些环境允许精确操纵问题的复杂性，同时保持逻辑结构的一致性。通过这种方式，研究人员不仅可以分析模型的最终答案，还可以深入探究模型的内部推理轨迹，从而揭示模型是如何“思考”的。
研究团队发现，模型的表现可以清晰地分为三个阶段：在低复杂度任务中，传统大模型（如Claude-3.7无思维版本）表现更佳；在中等复杂度任务中，具备思维机制的大型推理模型（LRMs）更占优势；然而，在高复杂度任务中，两类模型均陷入完全失效状态。
特别研究还发现LRMs在执行精确计算方面存在明显局限性，它们无法使用显式算法进行推理，且在不同谜题之间的推理表现也呈现出不一致性。这一发现进一步强调了当前AI模型在推理能力方面的不足。
研究还指出，当前业界对LRMs的评估范式主要基于已建立的数学基准，这种评估方式可能无法全面反映模型的真实能力。因此，研究人员呼吁需要更加细致的实验设置来探索这些问题，以更深入地了解AI模型的推理能力和局限性。
论文的发布引起了业界的广泛关注。研究人员表示，这些发现不仅揭示了现有LRMs的优点和局限性，还引发了关于这些系统推理本质的问题。这些问题对于AI系统的设计和部署具有重要意义，将推动相关领域的研究不断向前发展。
本文链接：http://www.28at.com/showinfo-45-13558-0.html苹果研究：AI大模型在高复杂度任务中推理能力遭质疑
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
