如何批量提取网站所有的URL链接

发布网友发布时间：2022-04-20 05:40

共5个回答

热心网友时间：2022-06-03 18:58

展开1全部额。。提取全部网址链接的话，
试试这个吧
批量提取链接的工具：ht-tps://godtool.gitlab.io/zh-cn/link-finder/?f=d5
网址前面是错的，自己改一下吧
用法：复制网页内容，粘贴到这个工具中，链接就全部一次性批量提取出来了
是不是很方便？

热心网友时间：2022-06-03 18:58

不知道题主会不使用正则，会爬虫然后会正则的话，把你爬取到的页面源码当成字符串，用下面的正则过滤一下你就能得到网页内的所有url了
detail_urls = re.findall('http[s]?://(?:(?!http[s]?://)[a-zA-Z]|[0-9]|[$\-_@.&+/]|[!*,]|(?:%[0-9a-fA-F][0-9a-fA-F]))+',string)

热心网友时间：2022-06-03 18:59

sitemap X。很好用的软件。直接输入域名就可以了

热心网友时间：2022-06-03 19:00

写个爬虫程序，把url爬下来撒，百度下好多写爬虫的例子的追问您好具体怎么写能否告诉下我谢谢

热心网友时间：2022-06-03 19:00

这个的话需要软件的操作的追问具体需要用到什么软件