python爬虫如何分析一个将要爬取的网站?

发布网友发布时间：2022-04-22 20:39

我来回答

共3个回答

热心网友时间：2022-04-10 23:17

首先，你去爬取一个网站，

你会清楚这个网站是属于什么类型的网站（新闻，论坛，贴吧等等）。

你会清楚你需要哪部分的数据。

你需要去想需要的数据你将如何编写表达式去解析。

你会碰到各种反爬措施，无非就是各种百度各种解决。当爬取成本高于数据成本，你会选择放弃。

你会利用你所学各种语言去解决你将要碰到的问题，利用各种语言的client组件去请求你想要爬取的URL，获取到HTML，利用正则，XPATH去解析你想要的数据，然后利用sql存储各类数据库。

热心网友时间：2022-04-11 00:35

首先,你去爬取一个网站, 你会清楚这个网站是属于什么类型的网站(新闻,论坛,贴吧等等)。你会清楚你需要哪部分的数据。告诉你scrapy框架了，这是python最受欢迎的爬虫框架，有了这个框架，多线程爬取不需要你控制，你只需要完成数据的属性类item，网页爬虫类spider，数据保存类pipelines，网页去重类等等就可以了，世界是那么的美好，膜拜作者的想法在你心里油然而生。

如果你爬取数据量不大，只是单机爬取，上面就坐等结果了，如果你说“我手头有几台电脑，一起爬快点”，那么是时候告诉你scrapy-redis了。

热心网友时间：2022-04-11 02:09

首先要了解http知识。