防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎

快科技8月22日消息，据报道，近日百度百科开始屏蔽谷歌和必应等大多数搜索引擎，预计是为了阻止这些搜索引擎和其他爬虫，未经授权抓取百度百科的内容用于训练AI。6Fl28资讯网——每日最新资讯28at.com

百度百科的robots.txt文件显示，目前仅有百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider和宜搜搜索(EasouSpider)等少数几个搜索引擎被允许抓取其内容。6Fl28资讯网——每日最新资讯28at.com

谷歌搜索、必应搜索、微软MSN、UC浏览器的Yisouspider以及其他一切搜索引擎爬虫均被明确禁止抓取百度百科的内容。6Fl28资讯网——每日最新资讯28at.com

虽然360搜索没有在封禁列表中单独列出，但百度百科的策略是禁止一切非白名单爬虫抓取，所以360搜索和其他搜索引擎也都是被屏蔽的。6Fl28资讯网——每日最新资讯28at.com

不过百度百科这种做法其实也只是防君子不防小人，肯定还有很多爬虫通过各种方式继续抓取内容然后拿去训练AI。6Fl28资讯网——每日最新资讯28at.com

6Fl28资讯网——每日最新资讯28at.com

本文链接：http://www.28at.com/showinfo-17-109470-0.html防止内容被抓取训练AI：百度百科屏蔽谷歌/必应等搜索引擎

声明：本网页内容旨在传播知识，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。邮件：2376512515@qq.com

上一篇： 极越公关负责人炮轰小米亏钱卖车 这是倾销：网友吐槽你们车为何卖不好

下一篇： 罗永浩与冯唐聚餐 笑容灿烂：用上曾扬言要收购苹果的iPhone手机