问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501

怎么防止蜘蛛程序.的对本站的搜索

发布网友 发布时间：2022-05-13 06:18

我来回答

共2个回答

懂视网 时间：2022-05-13 10:39

public书包用来存放系统运行中产生的公共变量，相当于jsp、asp、php中的全局，优势是用起来更Easy，只需要在书包public放入和取出即可

放入：

@{int:@{public:test}+1}

取出：

@{public:test}

可以在任意网页中操作，结果都是全局有效

实例：

文件_samples/public.html

公共信息书包
公共信息书包
@{public:@{public:@{for:getSuffix}}}@{int:@{public:test}+1}
变量名值
@{public:@{for:getSuffix}}
【刷新】

文件_samples/public1.html 

公共信息书包1
公共信息书包1
@{public:@{public:@{for:getSuffix}}}@{int:@{public:test1}+1}
变量名值
@{public:@{for:getSuffix}}
【刷新】

不停地点击刷新看看效果吧 


轻开平台资源下载及说明
平台及最新开发手册免费下载：http://download.csdn.net/detail/tx18/8381859
开发实例：轻开B2C电子商务网站，免费下载：http://download.csdn.net/detail/tx18/8318585
轻开平台会不定期升级为大家提供更多强大而Easy的功能，请留意最新的开发手册


特别说明：轻开平台及我们的开发实例永久免费，并且不限制用途，也就是说您可以把我们的实例稍作修改自己运营或卖给您的客户，而我们不会向您收一分钱

热心网友 时间：2022-05-13 07:47

这个问题，以前讨论的很多了，给你一篇文章自己看看
很容易懂得

//
我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。

一、 robots.txt

1、 什么是robots.txt？

robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

网站 URL
相应的 robots.txt的 URL

http://www.w3.org/
http://www.w3.org/robots.txt

http://www.w3.org:80/
http://www.w3.org:80/robots.txt

http://www.w3.org:1234/
http://www.w3.org:1234/robots.txt

http://w3.org/
http://w3.org/robots.txt

2、 robots.txt的语法

"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

"<field>:<optionalspace><value><optionalspace>"。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：

User-agent:

该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的*，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中， "User-agent：*"这样的记录只能有一条。

Disallow :

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。例如"Disallow: /help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow: /help/"则允许robot访问/help.html，而不能访问/help/index.html。

任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果 "/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

下面是一些robots.txt基本的用法：

l 禁止所有搜索引擎访问网站的任何部分：
User-agent: *
Disallow: /

l 允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件 "/robots.txt" file

l 禁止所有搜索引擎访问网站的几个部分（下例中的cgi-bin、tmp、private目录）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

l 禁止某个搜索引擎的访问（下例中的BadBot）
User-agent: BadBot
Disallow: /

l 只允许某个搜索引擎的访问（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:

User-agent: *
Disallow: /

3、 常见搜索引擎机器人Robots名字

名称 搜索引擎

Baispider http://www.baidu.com

Scooter http://www.altavista.com

ia_archiver http://www.alexa.com

Googlebot http://www.google.com

Inktomi Slurp http://www.yahoo.com

FAST-WebCrawler http://www.alltheweb.com

Slurp http://www.inktomi.com

MSNBOT http://search.msn.com

4、 robots.txt举例

下面是一些著名站点的robots.txt：

http://www.cnn.com/robots.txt

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt

http://www.eachnet.com/robots.txt

5、 常见robots.txt错误

l 颠倒了顺序：
错误写成
User-agent: *
Disallow: GoogleBot

正确的应该是：
User-agent: GoogleBot
Disallow: *

l 把多个禁止命令放在一行中：
例如，错误地写成
Disallow: /css/ /cgi-bin/ /images/

正确的应该是
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

l 行前有大量空格
例如写成
Disallow: /cgi-bin/
尽管在标准没有谈到这个，但是这种方式很容易出问题。

l 404重定向到另外一个页面：
当Robot访问很多没有设置robots.txt文件的站点时，会被自动404重定向到另外一个Html页面。这时Robot常常会以处理robots.txt文件的方式处理这个Html页面文件。虽然一般这样没有什么问题，但是最好能放一个空白的robots.txt文件在站点根目录下。

l 采用大写。例如
USER-AGENT: EXCITE
DISALLOW:
虽然标准是没有大小写的，但是目录和文件名应该小写：
user-agent:GoogleBot
disallow:

l 语法中只有Disallow，没有Allow！
错误的写法是：
User-agent: Baispider
Disallow: /john/
allow: /jane/

l 忘记了斜杠/
错误的写做：
User-agent: Baispider
Disallow: css

正确的应该是
User-agent: Baispider
Disallow: /css/

下面一个小工具专门检查robots.txt文件的有效性：

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi

二、 Robots META标签

1、什么是Robots META标签

Robots.txt文件主要是*整个站点或者目录的搜索引擎访问情况，而Robots META标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots META标签也是放在页面的<head></head>中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。具体的形式类似（见黑体部分）：

<html>

<head>

<title>时代营销--网络营销专业门户</title>

<meta name="Robots" content="index,follow">

<meta http-equiv="Content-Type" CONTENT="text/html; charset=gb2312">

<meta name="keywords" content="营销… ">

<meta name="description" content="时代营销网是…">

<link rel="stylesheet" "/public/css.css" type="text/css">

</head>

<body>

…

</body>

</html>

2、Robots META标签的写法：

Robots META标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

INDEX 指令告诉搜索机器人抓取该页面；

FOLLOW 指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是INDEX和FOLLOW，只有inktomi除外，对于它，缺省值是INDEX,NOFOLLOW。

这样，一共有四种组合：

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">

<META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">

其中

<META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">可以写成

<META NAME="ROBOTS" CONTENT="ALL">；

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">可以写成

<META NAME="ROBOTS" CONTENT="NONE">

需要注意的是：上述的robots.txt和Robots META标签*搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以*GOOGLE是否保留网页快照。例如：

<META NAME="googlebot" CONTENT="index,follow,noarchive">

表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

例子:
# robots, scram

User-agent: *
Disallow: /cgi-bin
Disallow: /TRANSCRIPTS
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /java
Disallow: /shockwave
Disallow: /JOBS
Disallow: /pr
Disallow: /Interactive
Disallow: /alt_index.html
Disallow: /webmaster_logs
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH

User-agent: Mozilla/3.01 (hotwired-test/0.1)
Disallow: /cgi-bin
Disallow: /TRANSCRIPTS
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /java
Disallow: /shockwave
Disallow: /JOBS
Disallow: /pr
Disallow: /Interactive
Disallow: /alt_index.html
Disallow: /webmaster_logs
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH

User-agent: Slurp
Disallow: /cgi-bin
Disallow: /TRANSCRIPTS
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /java
Disallow: /shockwave
Disallow: /JOBS
Disallow: /pr
Disallow: /Interactive
Disallow: /alt_index.html
Disallow: /webmaster_logs
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH
User-agent: Scooter
Disallow: /cgi-bin
Disallow: /TRANSCRIPTS
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /java
Disallow: /shockwave
Disallow: /JOBS
Disallow: /pr
Disallow: /Interactive
Disallow: /alt_index.html
Disallow: /webmaster_logs
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH

User-agent: Ultraseek
Disallow: /cgi-bin
#Disallow: /TRANSCRIPTS
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /java
Disallow: /shockwave
Disallow: /JOBS
Disallow: /pr
Disallow: /Interactive
Disallow: /alt_index.html
Disallow: /webmaster_logs
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH

User-agent: smallbear
Disallow: /cgi-bin
Disallow: /java
Disallow: /images
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /webmaster_logs
Disallow: /virtual
Disallow: /shockwave
Disallow: /TRANSCRIPTS
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH
Disallow: /alt_index.html
User-agent: GoogleBot
Disallow: /cgi-bin
Disallow: /java
Disallow: /images
Disallow: /development
Disallow: /third
Disallow: /beta
Disallow: /webmaster_logs
Disallow: /virtual
Disallow: /shockwave
Disallow: /TRANSCRIPTS
Disallow: /newscenter
Disallow: /virtual
Disallow: /DIGEST
Disallow: /QUICKNEWS
Disallow: /SEARCH
Disallow: /alt_index.html
声明声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com
银耳茉莉汤制作要诀 茉莉银耳羹制作过程 银耳饮料茉莉银耳汤 发几张很好看的手机壁纸来 无纺壁纸的优缺点有哪些？ 移动破碎机价格多少钱一台,移动破碎机需要办理什么手续 你知道窝瓜和倭瓜的区别是啥吗? 窝瓜和倭瓜是一种东西吗? 经常吃韭菜有什么危害 像素标定板 大量运动后需要补充什么 丰田普拉多2.8柴油国内上市 丰田普拉多2.8T柴油版中国什么时候有 一代“神车”最终落幕,国产丰田普拉多宣布正式停产 大学生去教育机构除了当助教,还能干什么? 华图今年招了好多助教,助教在班里是做什么的? 我的电动车充电器上f5al250v保险丝坏了 如果不用 会怎样 教授都配的有助教吗,助教具体都干些什么工作 电瓶车充电器保险丝烧了,换新的还是烧掉,没有烧黑只是容断了.这是哪里坏了?充电器是天能的 充电器的保险丝烧了是什么原因啊?急啊! 很多事都是助教在做,那主教干嘛的?! 请问我的电瓶车充电器保险丝烧坏，换上新的保险丝还是烧坏，不知能修吗？ 我的电动车充电器进水了里面的保险丝,8n60都坏了。怎么修啊 电动三轮车充电器保险丝烧坏怎么维修 电动自行车充电器里的保险坏了怎么更换 水电瓶充电器保险丝坏了是什么症状 农村安置房离婚分割法 拆迁安置房离婚如何分割 声东击西今朝大无出其右见红蓝什么意思 无出其右、货真价实、大快人心、大相径庭的意思 认知实习的意义与目的 沿上是黄线,沿下是白线停车位,停车位旁能停车吗? QQ拉黑的人还能找回来么 怎样打印二级建造师准考证? 劳动合同解除补偿协议 协议解除劳动合同补偿 主动提出与公司解除劳动合同，公司要求我写一份《自愿解除劳动合同协议书》，有必要写吗？ 如何获取webView的高度 晚上睡觉可以戴翡翠项链吗 梦见好久没回家的老公回来了 夜里做梦梦到失踪几年的丈夫和自己的弟妹在一起回来了过的飞黄腾达? 我学电气工程及其自动化的，学校有招聘嵌入式软件工程师的，不知道适不适合， 昨晚梦见死去的丈夫突然回来了我问他你去哪儿回来怎么不告诉我一声 跪求周立功公司2013年校园招聘嵌入式系统研发工程师笔试试题或者大概题型范围？求指点啊？ 怎样才算是软硬件都精通的嵌入式工程师?需要什么软硬件知识?有什么好... 房产抵押期限 我来例假第二天了,头特疼怎么办? 房产抵押期限是多少年 来例假时偏头痛是什么原因~~有什么办法缓解~? 为什么来大姨妈的时候脑袋很痛?
懂视 51dongshi.com 版权所有
Copyright © 2019-2024