各家大模型纷纷卷起上下文窗口，Llama-1 时标配还是 2k，现在不超过 100k 的已经不好意思出门了。
然鹅一项极限测试却发现，大部分人用法都不对，没发挥出 AI 应有的实力。
AI 真的能从几十万字中准确找到关键事实吗？颜色越红代表 AI 犯的错越多。
默认情况下，GPT-4-128k 和最新发布的 Claude2.1-200k 成绩都不太理想。
但 Claude 团队了解情况后，给出超简单解决办法，增加一句话，直接把成绩从 27% 提升到 98%。
只不过这句话不是加在用户提问上的，而是让 AI 在回复的开头先说：
“Here is the most relevant sentence in the context:”
（这就是上下文中最相关的句子：）
让大模型大海捞针为了做这项测试，作者 Greg Kamradt 自掏腰包花费了至少 150 美元。
好在测试 Claude2.1 时，Anthropic 伸出援手给他提供了免费额度，不然还得多花 1016 美元。
其实测试方法也不复杂，都是选用 YC 创始人 Paul Graham 的 218 篇博客文章当做测试数据。
在文档中的不同位置添加特定语句：在旧金山最好的事情，就是在阳光明媚的日子坐在多洛雷斯公园吃一个三明治。
请 GPT-4 和 Claude2.1 仅仅使用所提供的上下文来回答问题，在不同上下文长度和添加在不同位置的文档中反复测试。
最后使用 Langchain Evals 库来评估结果。
作者把这套测试命名为“干草堆里找针 / 大海捞针”，并把代码开源在 GitHub 上，已获得 200 + 星，并透露已经有公司赞助了对下一个大模型的测试。
几周后，Claude 背后公司 Anthropic 仔细分析后却发现，AI 只是不愿意回答基于文档中单个句子的问题，特别是这个句子是后来插入的，和整篇文章关系不大的时候。
也就是说，AI 判断这句话和文章主题无关，就偷懒不去一句一句找了。
这时就需要用点手段晃过 AI，要求 Claude 在回答开头添加那句“Here is the most relevant sentence in the context:”就能解决。
使用这个办法，在寻找不是后来人为添加、本来就在原文章中的句子时，也能提高 Claude 的表现。
Anthropic 公司表示将来会不断地继续训练 Claude，让它能更适应此类任务。
在 API 调用时要求 AI 以指定开头回答，还有别的妙用。
创业者 Matt Shumer 看过这个方案后补充了几个小技巧：
如果想让 AI 输出纯 JSON 格式，提示词的最后以“{”结尾。同理，如果想让 AI 列出罗马数字，提示词以“I:”结尾就行。
不过事情还没完……
国内大模型公司也注意到了这项测试，开始尝试自家大模型能不能通过。
同样拥有超长上下文的月之暗面 Kimi 大模型团队也测出了问题，但给出了不同的解决方案，也取得了很好的成绩。
这样一来，修改用户提问 Prompt，又比要求 AI 在自己的回答添加一句更容易做到，特别是在不是调用 API，而是直接使用聊天机器人产品的情况下。
月之暗面还用自己的新方法帮 GPT-4 和 Claude2.1 测试了一下，结果 GPT-4 改善明显，Claude2.1 只是稍微改善。
看来这个实验本身有一定局限性，Claude 也是有自己的特殊性，可能与他们自己的对齐方式 Constituional AI 有关，需要用 Anthropic 自己提供的办法更好。
后来，月之暗面的工程师还搞了更多轮实验，其中一个居然是……
坏了，我成测试数据了。
参考链接：
[1]https://x.com/GregKamradt/status/1727018183608193393
[2]https://www.anthropic.com/index/claude-2-1-prompting
本文来自微信公众号：量子位 （ID：QbitAI），作者：梦晨
本文链接：http://www.28at.com/showinfo-45-2886-0.html一句话解锁 100k + 上下文大模型真实力，27 分涨到 98，GPT-4、Claude2.1 适用
声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com
Copyright © 2016-2023 天津谷骐科技有限公司 版权所有 sitemap.xml
违法及侵权请联系：2376512515@qq.com 津ICP备18001702号
津公网安备 12010102000574号
