当前位置：首页 > 科技 > 资讯

百度百科大动作！屏蔽谷歌必应，防内容被抓取训练AI？

来源：责编：时间：2024-08-22 16:51:00 144观看

导读【ITBEAR】8月22日消息，近期，有报道指出，百度百科采取了新措施，对谷歌、必应等众多搜索引擎实施了屏蔽策略，此举被推测是为了防止这些搜索引擎及其他爬虫未经授权抓取其内容用于人工智能训练。根据百度百科的robots.txt文

【ITBEAR】8月22日消息，近期，有报道指出，百度百科采取了新措施，对谷歌、必应等众多搜索引擎实施了屏蔽策略，此举被推测是为了防止这些搜索引擎及其他爬虫未经授权抓取其内容用于人工智能训练。

根据百度百科的robots.txt文件显示，目前仅有几个搜索引擎被授权可以抓取其内容，包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider以及宜搜搜索(EasouSpider)。

据ITBEAR了解，谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他所有搜索引擎爬虫均被明确禁止访问百度百科的内容。尽管360搜索并未在封禁名单中单独列出，但由于百度百科的策略是禁止所有非白名单爬虫，因此360搜索和其他搜索引擎同样受到了屏蔽。

然而，这种屏蔽措施或许只能阻挡一部分访问，仍有许多爬虫可能会通过其他方式继续抓取内容并用于AI训练。

本文链接：http://www.28at.com/showinfo-16-109396-0.html百度百科大动作！屏蔽谷歌必应，防内容被抓取训练AI？

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇：罗永浩冯唐聚餐笑开怀，竟用曾欲收购的苹果iPhone？

下一篇：从数据治理到数据消费，汽车行业如何用数据驱动业务发展

标签：

热门焦点

K60至尊版狂暴引擎2.0加持：超177万跑分斩获性能第一

Redmi的后性能时代战略发布会今天下午如期举办，在本次发布会上，Redmi公布了多项关于和联发科的深度合作，以及新机K60 Ultra在软件和硬件方面的特性，例如：“K60 至尊版，双芯旗舰
一文掌握 Golang 模糊测试（Fuzz Testing）

模糊测试（Fuzz Testing）模糊测试（Fuzz Testing）是通过向目标系统提供非预期的输入并监视异常结果来发现软件漏洞的方法。可以用来发现应用程序、操作系统和网络协议等中的漏洞或
Python异步IO编程的进程/线程通信实现

这篇文章再讲3种方式，同时讲4中进程间通信的方式一、 Python 中线程间通信的实现方式共享变量共享变量是多个线程可以共同访问的变量。在Python中，可以使用threading模块中的L
大厂卷向扁平化

来源：新熵作者丨南枝编辑丨月见大厂职级不香了。俗话说，兵无常势，水无常形，互联网企业调整职级体系并不稀奇。7月13日，淘宝天猫集团启动了近年来最大的人力制度改革，目前已形成一
当家的盒马，加速谋生

来源 | 价值星球Planet作者 | 归去来自己“当家”的盒马，开始加速谋生了。据盒马官微消息，盒马计划今年开放生鲜供应链，将其生鲜商品送往食堂。目前，盒马在上海已经与
引领旗舰级影像能力向中端机普及 OPPO K11 系列发布 1799 元起

7月25日，OPPO正式发布K系列新品—— OPPO K11 。此次 K11 在中端手机市场长期被忽视的影像板块发力，突破性地搭载索尼 IMX890 旗舰大底主摄，支持 OIS
亲历马斯克血洗Twitter，硅谷的苦日子在后头

文/刘哲铭　　编辑/李薇　　马斯克再次挥下裁员大刀。　　美国时间11月14日，Twitter约4400名外包员工遭解雇，此次被解雇的员工的主要工作为内容审核等。此前，T
Meta盲目扩张致超万人被裁，重金押注元宇宙而前景未明

图片来源：图虫创意日前，Meta创始人兼CEO 马克·扎克伯发布公开信，宣布Meta计划裁员超11000人，占其员工总数13%。他公开承认了自己的预判失误：“不仅

百度百科大动作！屏蔽谷歌必应，防内容被抓取训练AI？

K60至尊版狂暴引擎2.0加持：超177万跑分斩获性能第一

一文掌握 Golang 模糊测试（Fuzz Testing）

Python异步IO编程的进程/线程通信实现

重估百度丨“晚熟”的百度云，能等到春天吗？

大厂卷向扁平化

当家的盒马，加速谋生

引领旗舰级影像能力向中端机普及 OPPO K11 系列发布 1799 元起

亲历马斯克血洗Twitter，硅谷的苦日子在后头

Meta盲目扩张致超万人被裁，重金押注元宇宙而前景未明

最新推荐

猜你喜欢

热门推荐

相关资讯