robots协议违反事例

发布网友发布时间：2024-10-19 16:04

共1个回答

热心网友时间：2天前

在互联网历史上，关于robots协议的违规案例屡见不鲜。12年前的eBay vs. Bidder's Edge（NO.C-99-21200RMW, 2000 U.S Dist. LEXI 7282）案，加州北部联邦地方法院以robots协议为依据裁决BE侵权。BE通过抓取eBay等大型拍卖网站信息，尽管eBay已经设定了禁止抓取的robots协议，但BE无视这一规定，因为其网站大部分内容依赖于eBay。最终，法院判定BE的抓取行为侵犯了eBay的财产权，禁止了未经许可的自动抓取行为。

国内的违规行为同样存在，2012年8月的360搜索事件就是一个例子。360综合搜索被指在未经许可的情况下，大量抓取百度、Google的内容，甚至记录用户的敏感信息，严重违反了robots协议。这种行为不仅违反行业规范，也损害了用户的隐私和体验。互联网专家强调，robots协议是搜索引擎与网站间的道德约定，网站主通过协议控制抓取范围，搜索引擎需遵循这一规则，否则可能导致行业混乱和声誉损失。

遵守robots协议是互联网行业健康发展的基础，中国工程院院士高文和浙江大学计算机学院院长庄越挺均表示，企业应尊重这一规则，否则将损害自身形象和整个行业的声誉。清华大学计算机系教授马少平则指出，不遵守Robots协议的抓取行为会对互联网的正常秩序和用户利益造成严重影响。

扩展资料

robots协议（也称为爬虫协议、爬虫规则、机器人协议等）也就是robots.txt，网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范，其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。因其不是命令，故需要搜索引擎自觉遵守。一些病毒如malware（马威尔病毒）经常通过忽略robots协议的方式，获取网站后台数据和个人信息。