发布网友 发布时间:2022-12-14 05:32
共1个回答
热心网友 时间:2024-04-29 18:41
例如某网站日志中有以下这样的一段:
2011-12-18 23:45:33 W3SVC7499849XX 61.145.116.XX GET /asyj/1112_5544.html - 80 - 123.125.71.78 Mozilla/5.0+(compatible;+Baispider/2.0;++http://***..coX/search/spider.html ) 304 0 0
其实这段文字是这样理解的。
2011-12-18 23:45:33 ——代表访问的日期和时间。
W3SVC7499849XX ——代表虚拟主机的名称
61.145.116.XX ——代表访问ip
GET ——代表访问的方法
/asyj/1112_5544.html——代表具体访问的文件
80 ——代表访问的端口
123.125.71.78 ——代表来源ip
Mozilla/5.0+(compatible;+Baispider/2.0;++http://***..coX/search/spider.html) ——代表访问来源;这里是代表百度蜘蛛。注*换为w
304 ——304返回码。这个也是这里介绍的重点。这里表示客户端已经执行了GET,但文件未变化
前一个0 ——代表服务端传送到客户端的字节大小
后一个0 ——代表客户端传送到服务端的字节大小
从这一段日志。我们可以看出这次百度蜘蛛访问的结果的返回了一个304状态码。那么搜索引擎就不会对我们的页面进行再次抓取了