golang爬虫框架colly

发布网友发布时间：2022-12-27 01:09

共1个回答

热心网友时间：2023-10-18 03:58

colly一款快速优雅的golang爬虫框架，简单易用，功能完备。

官网地址： http://go-colly.org/

包地址： import "github.com/gocolly/colly"

一个简单的例子：

使用方式概括下来主要有三步：

创建采集器时可以指定一些配置参数，如useragent，爬取深度及日志等

回调函数共有7中

通过浏览器开发者工具查看jianshu.com结构如下

文章列表为ul标签，中间每一项是li标签，li中包含content，content中包含title，abstract和meta标签

声明：本网页内容为用户发布，旨在传播知识，不代表本网认同其观点，若有侵权等问题请及时与本网联系，我们将在第一时间删除处理。E-MAIL:11247931@qq.com