一文掌握HBase核心知识以及面试问题
发布网友
发布时间：2024-09-15 06:43
共1个回答
热心网友
时间：2024-11-23 19:09
HBase基础与架构
HBase是用于存储海量结构化与半结构化数据的分布式、面向列的key-value存储系统。它基于Google Bigtable实现，但在底层存储、数据处理引擎及协同服务方面有所不同。
表结构与关键概念
HBase以表的形式存储数据至HDFS，建表时仅需定义列簇，插入数据时可指定任意多个列至指定列簇。其核心要素包括：行键、列簇、列与时间戳。
行键(row key)
行键用于唯一标识一行数据，同时指导数据排序，建议设计时考虑经常一起读取的数据存放在一起。
列簇(column family)
表可包含多个列簇，每个列簇内可有多个列，需在建表时定义列簇，但无需明确列。列族的统计与访问控制均在此层级进行。过多列簇会导致更多IO操作与文件寻址时间。
列(qualifier)
列以字节数组形式存储，无类型与长度*，与列簇结合表示具体数据。
Cell
Cell由{row key, column family:qualifier, version}唯一确定，存储单元以字节码形式。
时间戳(timestamp)
用于标记数据版本，便于读取最新值，并通过时间戳索引数据。时间戳类型为64位整数，可由客户端指定或HBase自动赋值。
HBase系统架构
HBase集群包含主节点HMaster、从节点RS及Zookeeper（ZK）。HMaster维护表与region的元数据，RS负责数据存储。
HMaster
HMaster是集群的管理节点，负责表与region的元数据管理，不参与数据IO。其容错机制包括主备切换与数据恢复。
RegionServer（RS）
RS是集群的工作节点，负责数据存储与region分配。其关键职责包括region分配、负载均衡与容错机制。
Zookeeper
ZK作为集群管理与协调服务，RS与HMaster通过ZK进行状态监控与数据同步。
HBase数据存储
HBase通过负载均衡将数据分散存储于不同RS，底层基于HDFS实现随机读写。数据通过预写日志（WAL log）和LSM树进行容错与恢复。
预写日志（WAL log）
预写日志用于记录数据变更，确保数据一致性。RS按需处理内存中的数据，完成数据持久化。
LSM树
LSM树结合预写日志与内存存储，实现高效的数据更新与查询。通过合并小文件优化性能。
HBase查询机制与优化
HBase查询主要通过-ROOT-和META表进行寻址。优化方面包括布隆过滤器与协处理器的使用。
布隆过滤器（Bloom Filter）
布隆过滤器用于提高查询效率，降低内存和存储负担，适用于特定访问模式。
协处理器
协处理器提供事件处理与扩展能力，用于实现数据处理与自定义命令。
数据迁移与备份
HBase提供多种数据迁移与备份方式，包括distcp、copytable、replication、Export/Import与snapshot。
distcp与copytable
distcp与copytable通过MapRece实现文件与表的同步，但需要停写操作。
replication
通过复制WAL日志实现异步数据同步，需开启并注意数据一致性。
Export/Import
Export将HBase表转换为序列文件，Import时需先创建目标表。
snapshot
通过快照方式实现数据迁移与备份，效率高，推荐使用。
面试问题解答
掌握HBase核心知识，包括架构、查询机制、数据存储与迁移备份方法，可有效应对面试中涉及HBase的问题。
了解更多内容，建议阅读原文《一文掌握HBase核心知识以及面试问题》。
