python爬虫怎么会违法，要是不小心帮了不法分子抓了数据，不法分子被抓自己会受牵连吗，还有？

发布网友发布时间：2022-04-29 05:07

共1个回答

热心网友时间：2023-10-03 08:14

你时刻知道自己在做什么就好了。
robots.txt 说到底也是君子协议，一般相当多的网站都只允许搜索引擎爬取页面。如果你要遵守君子协议——没什么不好——但只恐怕寸步难行。
爬虫本质上和你访问网页没什么不同。当爬虫和人的行为没什么不同的时候网站根本就分不清你是用爬虫访问还是人为访问了。说到底，当访问频率太快的时候根本就不是人的行为了。
用爬虫来缩短自己获得目标数据的时间，这是十分正常的事。但是如果自己的爬虫拖垮别人的网站，这是不道德的。
爬虫说到底只是一个工具，就像是一把刀。好坏取决于使用者，而不在于工具本身。