如何抓取带有用户名密码的网页

用前嗅的ForeSpider数据采集软件可以采集登录后才能采集的数据。在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了。可以设置自动登录，下次爬虫还会自动登录这个网站。可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的案例。帮助文档...

用前嗅的ForeSpider数据采集软件可以采集登录后才能采集的数据。在ForeSpider里有一个内置浏览器，在里边打开这个网站，和在浏览器上一样输入用户名密码，登录上去后就可以了。可以设置自动登录，下次爬虫还会自动登录这个网站。可以下载个免费版的试试，软件里有一些免费的模板，里边有一个登录的案例。帮助文档...

1、需要一个八爪鱼帐号，官网免费注册一个。2、注册好后，点击官网上方靠中间的软件下载标签，点击立即下载按钮下载最新版八爪鱼采集器软件。3、下载到本地后，解压进行安装。4、打开软件，输入之前注册的用户名密码进行登录。5、点击官网上方靠中间的规则市场。6、进入规则市场后，选择需要的规则进行下载。

有些网页需要用户登录才能查看，这对于网站所有者来说，提供了控制抓取权限的手段。如果网站所有者希望搜索引擎能搜索到特定内容，如报告，但又不想完全公开，他们可以设置权限，让网络蜘蛛在提供用户名和密码的情况下抓取这些内容。这样，搜索引擎会索引这些页面，但实际查看时，用户需要同样验证权限才能访问。

基于抓包结果，作者总结了获取用户名和密码的思路。可以通过抓取POST请求的数据包，直接提取用户名和密码。另外，在用户勾选“记住密码”选项时，可以获取包含用户名和密码的cookie，进一步验证获取信息的准确性。0x04 嗅探 在实验环境中，作者使用Python脚本实现了对用户名和密码的嗅探。脚本通过Wireshark监听...

一般爬虫都不会抓登录以后的页面，如果你只是临时抓某个站，可以模拟登录，然后拿到登录以后的Cookies，再去请求相关的页面。

如果我没有理解错的话，你是想隐藏你的后台登录页面，我的方法是如下：大部分的搜索引擎[Search Engine Technology]程序都严格遵守robots.txt标准执行抓取。任何被robots.txt标准认为不适宜抓取的文件，既不会被包括在抓取文档中，也不会进入到搜索引擎的数据库。通过搜索，我发现这个HTML代码可以做到把某一...

当然，网站的所有者可以通过协议让网络蜘蛛不去抓取（下小节会介绍），但对于一些出售报告的网站，他们希望搜索引擎能搜索到他们的报告，但又不能完全**的让搜索者查看，这样就需要给网络蜘蛛提供相应的用户名和密码。网络蜘蛛可以通过所给的权限对这些网页进行网页抓取，从而提供搜索。而当搜索者点击查看该...

一般登录都是post用户登录信息 可以用python模拟登录并保存cookie，然后就可以抓取了

有关POST还有不少用法,用户可以自己摸索。3、使用PUT方法。HTTP协议文件上传的标准方法是使用PUT,此时curl命令使用-T参数:curl -T uploadfile www.uploadhttp.com/receive.cgi4、有关认证。curl可以处理各种情况的认证页面,例如下载用户名/密码认证方式的页面(在IE中通常是出现一个输入用户名和密码的输入框):curl -...