问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

Google爬虫的威力有多大?

发布网友 发布时间:2022-04-29 05:07

我来回答

1个回答

热心网友 时间:2022-06-19 02:56

这无疑是一件好事,因为爬虫只想帮你的网站提高流量。Google的爬虫叫做googlebot,相信如果你的网站统计能统计爬虫的流量,一定会见过不少googlebot。当然,你的站得被google关注才行。Google的目标是要将全世界的信息都收录起来,可见作为Google的先锋部队,Googlebot一定会不断地加强,或者有一天,它们真的会像Philipp写的科幻短文那样,会上门偷听你所说的话,或者把你家的垃圾桶全搬走调查呢。不过不用怕,就算真有那么一天,也要快则等个十年八年,慢则几十年后。 但是,如果有一天,你发现自己的网站里的所有内容都被googlebot删除掉了,你会有怎样的反应?我并不是说从Google索引里删掉,而真的从你的服务器里!下面就是这样一个离奇的例子。 在Digg上面找到的这个故事里,Googlebot被怀疑是删除掉整个网站的元凶!Josh Breackman在一间负责一个大型*网站的CMS系统开发工作的公间工作。这个CMS开发项目主要是为了让*员工能创建或维护他们自己的网站上的不断变化的内容。但由于之前他们已经有一个网站,并且网站上面有丰富的内容,所以客户要求在新的网站正式上线之前,将旧网站的内容重组并上传到新网站里。这是一个需时较长的过程,在几个月后,他们终于把所有的旧网站上的内容都转移到新的CMS系统里,并且把新网站正式放上线,公开浏览。 但就在网站正式上线的第六天,他们突然发现新网站上的所有内容都自己消失了!并且所有网页都指向了默认的“请输入内容”编辑页!很自然地,Josh被要求对这个事件进行彻查。在调查中,他发现了一个外部的IP曾经进入系统,并且删除了所有系统里的内容!这个IP并不是属于某些海外的黑客,或者目的是想破坏*网站的信息,而是属于googlebot.com的!也就是说,这个是一个googlebot爬虫! 那么Googlebot为什么会这么做呢?它怎么会偷偷地将一个网站的内容全部删掉了呢?难道Google与这个*网站有过节?都不是。经过多番调查,Josh找到了原因。原来在转移内容的过程中,有一个用户将内容从一个网页复制然后粘贴到另一个网页上,其中包括了“编辑”链接,而这个链接是可以编辑内容的。在正常情况下,这个链接是没有问题的,因为外部的用户即使点了这个链接,他还需要输入有效的用户名和密码才能通过身份验证,因此他不可能进行编辑。但是,这个CMS却有一个致命的漏洞,那就是它的认证系统并没有包括像Googlebot这类爬虫在内!也就是说,Googlebot可以轻松通过它的认证系统! 因为Googlebot没有使用cookies,所以它可以轻松地绕过cookies验证。它也不理会JS代码,所以也不会像普通用户那样点击了“编辑”链接后被自动转向到正常的未登录提示页上。因此,它大摇大摆地顺着网页上的链接把整个网站逛遍了,其中当然包括了标题为“删除网页”的网页! 整个事件的起因是这个CMS系统存在致命的漏洞,并且更倒霉的是,它刚好碰上了Google的爬虫。
声明声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。E-MAIL:11247931@qq.com
为什么电脑上的word界面变小为什么WORD里面的页面变的很小怎么设置回来... AHA拯救心脏救命术(Basic Life Support,BLS) 基础生命的基本顺序 机械制图第一视角与第三视角的区别 明日之后野外感染者据点都在什么地方 感染就聚集点位置分享 明日之后 明日之后哪些地图有强力感染者? 《明日之后》野外感染者据点一览 明日之后野外感染者据点去哪找 妙洁提醒你注意:保鲜膜有些不能加热 有些不能包肉 C盘里文件的修改日期是不是就代表那天我用过电脑,我是上午用的,可文件... 笔记本电脑怎样玩双人游戏,键盘不熟悉和台式不一样。 python爬虫怎么会违法,要是不小心帮了不法分子抓了数据,不法分子被抓自己会受牵连吗,还有? 什么叫发嗲? 笔记本电脑怎么样能玩双人游戏 恶意爬虫对网站带来的危害有哪些 女人怎样发嗲才最有水平? 笔记本电脑如何玩双人打架的游戏? 大家教教我,女人该怎么发嗲 人鱼陷落中爬虫和多米诺是好是坏 有个爱发嗲的女朋友是种什么体验? 爬虫技术是否合法 女人怎样发嗲最让男人销魂? 网络爬虫 威胁 女孩在你面前发嗲是不是喜欢你 发嗲什么意思啊 女人跟你撒娇,发嗲,这是代表什么意思。 感情中,你的女朋友很喜欢发嗲,她发嗲时,你会怎么办? 发嗲是什么意思啊 感情中,你的女朋友很喜欢发嗲,对此你有什么感想? 为什么女人喜欢发嗲? 笔记本电脑上可以玩哪些双人游戏 爬虫股票数据违法吗 笔记本电脑能玩双人小游戏吗 只因写了一段爬虫,公司200多人被抓,爬虫究竟是否违法? 笔记本电脑能两个人玩小游戏吗 屋里经常爬虫怎么办? 笔记本电脑怎样玩双人 有知道爬虫人是怎么回事? 用笔记本怎么玩双人游戏? 怎么用手提电脑玩奥特曼格斗进化3双人? 我在笔记本电脑上用的键盘买了一个,想要玩双人游戏,在4399小游戏里,可是键盘上有些部分按不成。小 笔记本电脑可以玩什么双人的小游戏 为什么笔记本电脑不能玩那种双人小游戏呢? 为什么笔记本电脑不能耍4399双人游戏 就是有时候两个人一起玩 可是玩家一不可以按数字键 我是笔记本电脑 女生环境工程好就业吗?与环境科学哪个适合女生 环境工程女研究生是否容易就业,有哪些职业,收入如何? 环境工程女研究生好就业么?工作一般是什么?收入如何 我是理科生,请问有经验的人:女生学环境工程怎么样?以后就业如何? 浙大的环境工程硕士毕业后的去向是如何?就业领域广泛吗?女生是不是不合适这个专业的。。。_百度问一问 厕所被卫生巾堵了妙招