查询友情链接提示该站robots.txt禁止baiduspider,googlebot访问是怎么回事？

发布网友发布时间：2022-04-26 01:01

共1个回答

热心网友时间：2023-10-03 04:27

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。
spider是百度蜘蛛,googlebot谷歌机器人
Disallow:后的内容是网站robots.txt文件里禁止搜索引擎抓取的目录
User-agent 是针对什么搜索引起，*的意思就是所有，希望对你有帮助

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com

查询友情链接提示 该站robots.txt禁止baiduspider,googlebot访问 是怎么回事？

查询友情链接提示该站robots.txt禁止baiduspider,googlebot访问是怎么回事？