怎样才能让百度收录我的网站?

发布网友 发布时间：2024-04-23 09:46

我来回答

共1个回答

热心网友 时间：2024-04-23 13:21

登录网站。因为这个网站的robots.txt文件有*指令(*搜索引擎抓取)，所以系统无法提供这个页面。我该怎么办？

百度无法抓取网站，因为其robots.txt文件屏蔽了百度。

方法:

1.修改robots文件并取消对该页面的阻止。机器人的标准写法详见百度百科:网页链接。

2.更新百度站长平台(更名为百度资源平台)上的网站机器人。过一段时间，你的网站会被正常抓取收录。

影响:

Robots协议是网站出于安全和隐私原因设置的，旨在防止搜索引擎抓取敏感信息。搜索引擎的原理是通过一个爬虫蜘蛛程序，自动收集互联网上的网页，获取相关信息。

出于对网络安全和隐私的考虑，每个网站都会建立自己的Robots协议来表示搜索引擎，哪些内容是愿意和允许被搜索引擎收录的，哪些内容不是。搜索引擎将根据Robots协议给出的权限进行爬行。

机器人协议代表了一种契约精神。互联网公司只有遵守这个规则，才能保证网站和用户的隐私数据不会被侵犯。违反机器人协议会带来很大的安全隐患。

此前就有这样一个真实案例:某家政公司员工郭给别人发了一封求职邮件，邮件存储在某邮件服务公司的服务器上。由于该网站没有robots协议，该邮件被搜索引擎抓取并被网民搜索，给郭的工作和生活带来了极大的麻烦。

如今在中国国内互联网行业，正规的大型企业也将Robots协议作为行业标准。国内使用Robots协议最典型的案例是淘宝拒绝百度搜索和京东。COM拒绝陶艺搜索。而绝大多数中小网站需要依靠搜索引擎来增加流量，所以通常不排斥搜索引擎，也很少使用Robots协议。

北京寒浞律师事务所主任律师赵虎表示，机器人协议是保护互联网世界隐私的重要规则。如果这个规则被打破，对整个行业来说都是一场灾难。

以上内容参考百度百科-机器人协议。

mcp016是什么东西？

是mcp016的博客，由于该网站的robots.txt文件存在*指令。

UC浏览器robot协议*抓取怎么解决？

打开设置，选择root，把*抓取更改为允许

robots文件中到底要不要屏蔽JS和css？

robots.txt文件中不需要专门屏蔽CSSJS等文件

因为robots.txt只是给搜索引擎蜘蛛爬去做*的，告诉蜘蛛哪些文件夹或路径不要去爬取。

cssjs等文件对于搜索蜘蛛来说也是毫无价值的，你就是叫蜘蛛去爬取他也不会去爬取的

因为CSS是用来控制网页样式的样式表，JS是用来做网页行为或效果的脚本文件，这两种文件中没有任何关于网页内容的信息，对蜘蛛来说毫无价值