网络爬虫分类和更新方式之间的联系
发布网友
发布时间:2022-05-29 20:02
我来回答
共1个回答
热心网友
时间:2023-11-18 06:11
对已下载的网页采取增量式更新和只爬行新产生的或已经发生变化的网盘爬虫,它能够在一定程度上保证所爬行的页面是尽可能新的页面。需要爬行新产生或发生更新的页面,并不重新下载没有发生变化的页面。可以有效减少数据下载量、及时更新已爬行的网页,减少时间和空间的耗费,但增加了爬行算法的复杂度和实现难度。
常用方法: 统一更新法、个体更新法、基于分类更新法。