这段robots是什么意思?是禁止360爬行吗?
发布网友
发布时间:2024-10-19 16:04
我来回答
共1个回答
热心网友
时间:2024-11-08 01:52
您好楼主:
这个意思就是禁止360抓取网站的任何页面,但是360程序的名字好像老改名字,这个呵呵
实例分析:淘宝网的 Robots.txt文件
User-agent: Baispider
Disallow: /
User-agent: spider
Disallow: /
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。