首个 AI Kaggle 特级大师诞生，OpenAI 的 o1-preview 夺 7 金封王

10 月 12 日消息，科技媒体 The Decoder 昨日（10 月 11 日）发布博文，报道称 OpenAI 公司推出 MLE-bench 新基准，旨在评估 AI 智能体在开发机器学习解决方案方面的能力。CMM28资讯网——每日最新资讯28at.com

该基准包括 75 个 Kaggle 竞赛，旨在衡量自主 AI 系统在机器学习工程中的进展。这些竞赛涵盖了多个领域，包括自然语言处理、计算机视觉和信号处理等等。CMM28资讯网——每日最新资讯28at.com

注：Kaggle 是一个非常受欢迎的平台，专注于数据科学和机器学习的在线比赛。Kaggle 提供各种类型的比赛，包括数据预测、图像分类、自然语言处理等，适合不同技能水平的参与者。CMM28资讯网——每日最新资讯28at.com

在 Kaggle 的进阶系统中，“Novice”（新手）、“Contributor”（贡献者）、“Expert”（专家）、“Master”（大师）和 "Grandmaster"（特级大师）是不同的绩效层级，用于衡量和识别数据科学家在 Kaggle 平台上的技能水平和成就。CMM28资讯网——每日最新资讯28at.com

CMM28资讯网——每日最新资讯28at.com

许多任务具有现实世界的应用，例如预测 COVID-19 mRNA 疫苗降解或解码古代卷轴等。CMM28资讯网——每日最新资讯28at.com

CMM28资讯网——每日最新资讯28at.com

MLE-bench 专注于两个关键领域：CMM28资讯网——每日最新资讯28at.com

选择具有挑战性的任务：这些任务代表了当前机器学习的发展水平。CMM28资讯网——每日最新资讯28at.com

比较 AI 与人类的表现：通过对比，评估 AI 在特定任务中的能力。CMM28资讯网——每日最新资讯28at.com

OpenAI 在 MLE-bench 上测试了多个 AI 模型和智能体框架，使用 AIDE 框架的 o1-preview 模型表现最佳，在 16.9% 的比赛中至少获得了一枚铜牌，该结果超越了 Anthropic 的 Claude 3.5 Sonnet。CMM28资讯网——每日最新资讯28at.com

获得 5金即可评上 "Grandmaster" 特级大师，而 o1-preview 模型在MLE-bench测试中获得了 7枚金牌。CMM28资讯网——每日最新资讯28at.com

CMM28资讯网——每日最新资讯28at.com

CMM28资讯网——每日最新资讯28at.com

OpenAI 承认 MLE-bench 也有局限性，并未涵盖 AI 研究与开发的所有方面，主要集中在具有明确问题和简单评估指标的任务上。CMM28资讯网——每日最新资讯28at.com

MLE-bench 基准现已在 GitHub 上发布，OpenAI 希望通过这一工具，推动 AI 在机器学习领域的进一步发展。CMM28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-9068-0.html首个 AI Kaggle 特级大师诞生，OpenAI 的 o1-preview 夺 7 金封王

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： OpenAI 推出 meta-prompt 工具，AI 时代让你掌握提示词艺术

下一篇： 中国移动发布九天善智多模态基座大模型及 30+ 款自研行业大模型