没有授权也没关系？多家 AI 公司被曝绕过网络标准抓取新闻出版商网站内容

6 月 24 日消息，据路透社上周六报道，专注于“内容许可”领域的初创公司 TollBit 近日向新闻出版商发出警告称，多家人工智能公司正在规避出版商用来阻止抓取内容的常见网络标准，并将抓取的内容用于训练生成式 AI 系统。o5O28资讯网——每日最新资讯28at.com

这一消息是在 AI 搜索初创公司 Perplexity 与媒体《福布斯》之间就同一网络标准公开争执的背景下发出的。当前，科技和媒体公司之间正在就生成式 AI 时代的内容价值展开更广泛的辩论。o5O28资讯网——每日最新资讯28at.com

Tollbit 将自己定位为内容匮乏的 AI 公司与愿意与他们达成重大许可协议的出版商之间的“媒人”。o5O28资讯网——每日最新资讯28at.com

注：《福布斯》曾指责 Perplexity 在 AI 生成的摘要中剽窃其报道内容，然而前者并未标注消息来源，也没有获得《福布斯》的许可。o5O28资讯网——每日最新资讯28at.com

另外，《连线》（Wired）杂志上周也发表了一篇调查报道并指出，Perpexity 可能绕过了（新闻出版商设置的）“机器人排除协议（Robots Exclusion Protocol）”或其他阻止网络爬虫的程序。o5O28资讯网——每日最新资讯28at.com

o5O28资讯网——每日最新资讯28at.com

自称代表 2000 多家美国出版商的贸易组织“新闻媒体联盟”也对这一行为表示担忧 ——AI 公司对出版商设置的“禁止抓取”机制或“robots.txt”等工具置若罔闻。该组织主席 Danielle Coffey 表示，“如果 AI 公司无法停止大规模抓取的话，我们就无法通过有价值的内容获利，也无法为记者们支付报酬。”o5O28资讯网——每日最新资讯28at.com

Tollbit 表示，Perplexity 并不是唯一无视出版商网站“禁止抓取”机制的违规者。根据其分析，“大量”AI 平台绕过了这一机制，而该机制为 AI 平台抓取自家内容设置了一份“白名单”—— 指示其网站哪些部分可以被抓取。o5O28资讯网——每日最新资讯28at.com

“这意味着，来自多个来源（而不仅仅是一家公司）的 AI 平台正在选择绕过 robots.txt 协议来从网站中检索内容，”TollBit 写道，“我们获取的出版商日志越多，这种模式出现的次数就越多。”o5O28资讯网——每日最新资讯28at.com

包括《纽约时报》在内的一些出版商已就这些侵权行为起诉 AI 公司。其他出版商则与人工智能公司签署了许可协议，AI 公司们也愿意为内容付费，尽管双方往往对材料的价值存在分歧。许多 AI 开发者认为，他们免费获取内容并未违反任何法律。o5O28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-45-4771-0.html没有授权也没关系？多家 AI 公司被曝绕过网络标准抓取新闻出版商网站内容

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”

下一篇： GPT-4o 差点没及格！首个多任务长视频评测基准，它有亿点难