数据分析师之——Hive SQL面试的n个问题之:行列转换、row_number、数据...

发布网友发布时间：2024-09-28 14:45

我来回答

共1个回答

热心网友时间：2024-11-13 04:22

数据分析师面试中Hive SQL问题详解：行列转换、row_number和数据倾斜优化

Q1：行列转换

在数据处理中，行列转换是关键技巧。例如，行转列（数组展开）：当处理用户实验数据时，如果一个用户可能被多种策略影响，我们需要将策略列表展开，以便单独查看每个策略的效果。例如：

使用函数如explode()，对用户id 1000001的实验数据进行操作，输出如下：
1000001 exp_2001 3
1000001 exp_2002 3
1000001 exp_2003 3

列转行（聚合到单行）则相反，用于汇总用户使用过的不同手机型号信息。如用户1000001使用过的手机型号为“mi_6”和“mi_9”。

Q3：数据倾斜

数据倾斜是指数据分布不均导致某些节点任务负载过大。比如，单词计数任务中，某个reduce节点可能处理所有大key的计算，造成进度停滞。原因可能包括key分布不均、业务特性、表设计问题或SQL设计问题。

解决方法：
1. 对于大key group by倾斜，设置`hive.map.aggr`和`hive.groupby.skewindata`参数。
2. 控制Map任务数量，如避免count(*)、sum(case ...)导致的Map任务过大。
3. 使用sum代替count(distinct)来减少数据倾斜。
4. 在join操作时，处理空值，如先join后union all处理空值和非空值。