数据采集指标怎么确定

发布网友发布时间：2022-04-22 17:24

共1个回答

热心网友时间：2023-05-29 03:01

摘要您好，很高兴为您解答。大数据采集有以下几种方式：一，如果数量较少的话，可以自己浏览，利用简单地文档工具来进行采集；二，是大量采集，这样很显然手动是无法满足需求的，所以一般使用工具来进行采集，工具的话，目前有以下几种：1.使用python爬虫进行采集，或者是JAVA语言来进行编程采集，但是这就需要有专业的知识作为支撑，适合专业的数据挖掘师，可采集比较男的网站或者app数据。2.使用市场已有的数据采集工具，现在市场上的数据采集工具也都很成熟了，大部分网络上的数据还是可以采集的，一般都是可视化操作，简单易学，难一些的网站可能需要配置规则，市场上现在比较实用的数据采集工具有：前嗅ForeSpider，火车头，八爪鱼等，我们公司也许需求，用的就是前嗅ForeSpider，因为他的功能更全一些，基本上网页上的数据都可以采集，不像一些采集软件，只能采集简单地，难一点的就需要花钱或者根本无法采集。咨询记录 · 回答于2021-12-26数据采集指标怎么确定您好，我这边正在为您查询，请稍等片刻，我这边马上回复您~您好，很高兴为您解答。大数据采集有以下几种方式：一，如果数量较少的话，可以自己浏览，利用简单地文档工具来进行采集；二，是大量采集，这样很显然手动是无法满足需求的，所以一般使用工具来进行采集，工具的话，目前有以下几种：1.使用python爬虫进行采集，或者是JAVA语言来进行编程采集，但是这就需要有专业的知识作为支撑，适合专业的数据挖掘师，可采集比较男的网站或者app数据。2.使用市场已有的数据采集工具，现在市场上的数据采集工具也都很成熟了，大部分网络上的数据还是可以采集的，一般都是可视化操作，简单易学，难一些的网站可能需要配置规则，市场上现在比较实用的数据采集工具有：前嗅ForeSpider，火车头，八爪鱼等，我们公司也许需求，用的就是前嗅ForeSpider，因为他的功能更全一些，基本上网页上的数据都可以采集，不像一些采集软件，只能采集简单地，难一点的就需要花钱或者根本无法采集。