三大常见问题 帮你找到最好数据分析师
发布网友
发布时间：2022-04-21 15:51
共1个回答
热心网友
时间：2023-06-21 11:31
一、在海量数据中，如何找到访问次数最多IP的那一天？
企业在分析的时候，往往需要最大数值和最低数值。而从海量数据中找到访问IP最多的那一天对于真正的数据分析人才来说并不是一件难事。首先，在访问的日志当中，将访问的IP取出来，写入大文件当中，然后采用映射的方式将其进行映射成多个小文件，然后从小文件中找到频率比较高的IP日，然后再进行对比，这样反复几次，就能找到访问IP次数最多的那一天了。
二、搜索引擎记录的用户访问，如何去除重复
用户在每次检索的时候都会形成一个检索串，这个检索串有的是独立的，有的是重复的，重复的数据对于企业来讲，没有必要分析，因而在分析之前要先将这些数据剔除掉。举个例子，在某网站中有一千万个访问记录，去重之后可能只剩下三百多个，而重复率越高的词意味着用户搜索的越多，属于热门词，企业只需要从中找到十个查询串，就能找到对企业发展有利的数据。
三、约一万行的文件文本，每行一个词，如何统计出排名前十的词？思路是什么？
这个问题的提出目的是为了帮助企业找到思路更明确的数据分析人才。而解决这个问题的方法有两种：
第一种、考虑时间效率，用trie树进行统计，然后找到出现频率最高的前十个词，这种虽然好用，但是花费的时间也比较长一点。
第二种、采用快速排序的方式，即每次分割的时候，考虑比轴大的数据，然后进行传统的排序，取前一百个。之后进行扫描，找到一个对比值，高于这个值的留下，低于这个值的删掉，这样反复进行，就能找到自己想要的数据。
