HDFS balancer详解

发布网友发布时间：2022-12-24 05:31

共1个回答

热心网友时间：2023-10-30 18:27

前言：Hadoop集群用久了以后，我们会发现一个问题，HDFS节点间的数据不平衡，尤其在新增和下架节点、或者人为干预副本数量的时候，多的达到80-90%，少的不到50%。出现这种状况，我们一般采用HDFS自带的balancer工具来解决，保证每个节点的数据分布均衡。

balancer参数配置

balance策略实现的逻辑流程
Rebalance程序作为一个独立的进程与name node进行分开执行。

默认情况下，datanode不会接受或移出少于10G的block或者少于datanode总容量threshold百分比的block，时间不会超过20分钟。
系统*了datanode之间数据迁移的带宽最大值 dfs.datanode.balance.bandwidthPerSec

动态增大带宽

balancer在如下5种情况下会自动退出：