点击network，选择all，接下来点击评论第二页，选择js，可以找到加载评论的链接（正常应该选择all，一点点找，我之前已经找到过链接，直接在js处找了），评论的链接通常含有comment单词，也可以在调试器中搜索找到。Python-爬取淘宝评论importurllib.request importurllib.parse importjson importre importjsonpa...

1. 对爬取对象分类,可以分为以下几种:第一种是不需要登录的,比如博主以前练手时爬的中国天气网,这种网页爬取难度较低,建议爬虫新手爬这类网页;第二种是需要登录的,如豆瓣、新浪微博,这些网页爬取难度较高;第三种于前两种,你想要的信息一般是动态刷新的,如AJAX或内嵌资源,这种爬虫难度最大,博主也没研究过...

1、在你的爬虫开始运行时，该大v的所有微博发布量没有超过回溯查询的上限，新浪是2000，是3200。2、爬虫程序必须不间断运行。新浪微博的api基本完全照搬，其中接口的参数特性与底层的NoSQL密不可分，建议先看点Nosql数据库的设计理念有助于更好的理解api设计。一般来说，如果决定爬某个大v...

2.理解新浪微博的授权机制 在调用API之前，首先要搞懂什么叫OAuth 2，即新浪微博的授权机制，连接在此： http://open.weibo.com/wiki/%E6%8E%88%E6%9D%83%E6%9C%BA%E5%88%B6%E8%AF%B4%E6%98%8E 3.在新浪微博注册应用 每个人都可以通过新浪微博开发者平台注册自己的应用，我注册的是站内...

1：安装python(这个不多说啦)2：下载新浪微博SDK的python包，解压为weibopy目录 (http://open.t.sina.com.cn/wiki/index.php/SDK)3：申请AppKey，详见(http://open.t.sina.com.cn/wiki/index.php/FAQ)流程：1：通过oAuth认证，详见(http://open.t.sina.com.cn/wiki/index.php/Oauth)按...

一. 你在浏览微博的时候，受到哪些用户的影响。1. 抓取你微博的关注列表，通过一定的条件筛选一部分用户，继续抓他们的关注列表，这样抓两到三层就行了，不然数据太大了。2. 对抓取的用户进行影响力建模，例如，用户最近两个月的微博的转发评论和点赞数据 3. 最后分析出哪些用户对你的影响最大 二. ...

1.直接用Python的requests库直接爬取，不过这个需要手动做的事情就比较多了，基本上就看你的Python功力了 2.使用scrapy爬虫框架，这个框架如果不熟悉的话只能自己先去了解下这个框架怎么用 3.使用自动测试框架selemium模拟登录操作，及图片爬取，这个对于大多数会点Python编码的人来说是最好的选择了，他...

用scrapy，爬虫框架就可以，三步，其中第二步是核心 定义item类 开发spider类 开发pipeline 如果你想学习更多，你可以看《疯狂python讲义》

python的用处很多，但最重要的是做数据分析。比如使用python做爬虫，爬取微博中关于某个事件的微博信息，通过聚类，回归分析人们的情感倾向，挖掘出微博中的热门词汇，挖掘用户的主要观点，监控事件趋势，走向等，还可以作为web网站的运行环境，提供web服务。电脑中的程序能运行起来，是因为它生成了可执行文件...

不过可以百度一下“python编写的新浪微博爬虫（现在的登陆方法见新的一则微博）“，可以找到一个参考的源码，他是用python2写的。如果用python3写，其实可以使用urllib.request模拟构建一个带cookies的浏览器，省去对cookies的处理，代码可以更加简短。4、此外 看下网络爬虫的百度百科，里面很多比较深入的...