【大数据】Hive常见面试题
发布网友
发布时间：2024-09-28 14:45
共1个回答
热心网友
时间：2024-10-07 15:15
Hive的排序关键字主要包括全局排序和局部排序。全局排序（order by）是对整个数据进行排序，但只有一个reduce任务处理，处理大数据量时效率较低，仅限于升序。局部排序（sort by）则在数据进入reduce阶段前完成，类似分区（distribute by）的功能，可以根据指定字段将数据分配到不同的reduce任务中，如写为`cluster by id`时，就表示在每个reduce内部对id字段进行排序。
数据倾斜是Hive中常见的问题，主要发生在reduce阶段，由于key的hash分布不均导致大量相同key集中到一个reduce中。在map阶段也可能出现数据倾斜，如压缩文件过大导致无法切分。数据倾斜的根本原因在于任务处理大量重复key或读取大文件时的不均匀分布。
在Hive中，`sort by`、`order by`和`cluster by`用于排序，其中`order by`是全局排序，`sort by`是局部排序，而`cluster by`则兼有`distribute by`（分区）和`sort by`的功能。`distribute by`则是按字段将数据分配到reduce任务。
文件导入Hive表通常通过`LOAD DATA`或`CREATE TABLE`语句，区分内外部表在于数据存储位置和元数据管理。桶表（CLUSTERED BY）是Hive利用分桶技术优化查询性能的一种表，通过预先对数据进行分桶和排序，支持抽样查询和指定桶的查询。
Hive的元数据存储方式包括元数据仓库和元数据缓存，前者持久化存储，后者加快查询速度。Hive作为基于Hadoop的数据仓库，其特点在于SQL接口、易用性和大数据处理能力，与关系型数据库RDBMS相比，Hive更适用于海量数据处理，但查询速度和事务处理能力可能较弱。
