1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，是3200。2、爬虫程序必须不间断运行。新浪微博的api基本完全照搬，其中接口的参数特性与底层的NoSQL密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。一般来说，如果决定爬某个大v...

使用python调用API的话，首先要去下一个Python的SDK，sinaweibopy 连接地址在此： http://michaelliao.github.com/sinaweibopy/ 可以使用pip很快的导入，github连接里的wiki也有入门的使用方法，很容易看懂。2.理解新浪微博的授权机制 在调用API之前，首先要搞懂什么叫OAuth 2，即新浪微博的授权机制，连接...

1. 对爬取对象分类,可以分为以下几种:第一种是不需要登录的,比如博主以前练手时爬的中国天气网,这种网页爬取难度较低,建议爬虫新手爬这类网页;第二种是需要登录的,如豆瓣、新浪微博,这些网页爬取难度较高;第三种于前两种,你想要的信息一般是动态刷新的,如AJAX或内嵌资源,这种爬虫难度最大,博主也没研究过...

1：安装python(这个不多说啦)2：下载新浪微博SDK的python包，解压为weibopy目录 (http://open.t.sina.com.cn/wiki/index.php/SDK)3：申请AppKey，详见(http://open.t.sina.com.cn/wiki/index.php/FAQ)流程：1：通过oAuth认证，详见(http://open.t.sina.com.cn/wiki/index.php/Oauth)按我...

1.直接用Python的requests库直接爬取，不过这个需要手动做的事情就比较多了，基本上就看你的Python功力了 2.使用scrapy爬虫框架，这个框架如果不熟悉的话只能自己先去了解下这个框架怎么用 3.使用自动测试框架selemium模拟登录操作，及图片爬取，这个对于大多数会点Python编码的人来说是最好的选择了，他...

用scrapy，爬虫框架就可以，三步，其中第二步是核心 定义item类 开发spider类 开发pipeline 如果你想学习更多，你可以看《疯狂python讲义》

1. 抓取你微博的关注列表，通过一定的条件筛选一部分用户，继续抓他们的关注列表，这样抓两到三层就行了，不然数据太大了。2. 对抓取的用户进行影响力建模，例如，用户最近两个月的微博的转发评论和点赞数据 3. 最后分析出哪些用户对你的影响最大 二. 基于地理位置的分析 1. 抓取以某个城市为发...

建立点击「查看更多」选择器 Id : more Type : Element click 点击 Selector 的 Select : 点击第1条和第2条评论最外围的方形元素 点击 Done selecting! 点击 Click selector 的 Select : 点击「查看更多」，注意点击后对话框中的内容是「a.WB_cardmore」 点击 Done selecting...

google project网站有一个项目叫做sinawler，就是专门的新浪微博爬虫，用来抓取微博内容。网站上不去，这个你懂的。不过可以百度一下“python编写的新浪微博爬虫（现在的登陆方法见新的一则微博）“，可以找到一个参考的源码，他是用python2写的。如果用python3写，其实可以使用urllib.request模拟构建一个带...

下载完八爪鱼采集器之后，可以前去规则市场下载标题名为“新浪微博-用户信息采集”。下载之后将规则导入任务中，运行前留意看规则的相关说明，部分选项需要根据自己的需求进行适当的修改，可修改的选项包括为：用户登录的信息(修改成自己的微博用户登录信息)、搜索条件，具体说明如下图：4.任务导入之后，按下...