大数据面试问题总结
发布网友
发布时间：2024-09-28 14:45
共1个回答
热心网友
时间：2024-09-30 02:11
以下是一些常见的大数据技术面试问题，包括Hive、Kafka、Spark、Flink以及离线数仓的相关知识点，涉及表设计、数据处理、系统特性、性能优化等内容。
Hive面试问题
解释Hive中by关键字的使用区别。
静态分区和动态分区的区别：静态分区由用户预先指定，动态分区基于数据条件生成。
内部表与外部表的区别，以及各自的使用场景。
Kafka面试问题
数据丢失如何保证：Kafka通过消息持久化机制确保数据不丢失。
保证数据Exactly-once的方法。
数据积压的解决策略和rebalance机制。
分区数确定和分区规则。
Producer buffer pool的作用和时间轮机制。
Kafka速度优势的解释。
Spark面试问题
Spark比MapReduce快的原因。
Repartition和Coalesce的区别，以及在缓存和checkpoint中的应用。
YARN client模式与cluster模式的对比。
不同数据结构(RDD、DataFrame、Dataset)的区别和联系。
updateStateByKey和mapWithState的使用场景。
SQL join方式的介绍。
RDD的缺陷和groupByKey与reduceByKey的区分。
Flink面试问题
算子链的形成和断开时机。
KeyBy后数据倾斜的处理和定位。
资源分配策略与不同模式的使用场景。
Checkpoint原理和对齐式/非对齐式的区别。
Watermark机制的讲解。
Flink双流join的实现。
状态后端选择及其优缺点。
离线数仓面试问题
宽表的理解及优缺点，以及在企业中的应用场景。
星型和雪花模型的优缺点，以及使用场景分析。
处理实时数据更新和查询延迟问题的方法。
数据准确性保障措施。
数据模型变更管理策略。
实时数仓性能优化和时效性保障。
