深入理解Kafka(十二) rebalance原理

发布网友发布时间：2022-10-18 05:42

共1个回答

热心网友时间：2023-11-08 12:08

下面我们来介绍下Kafka rebalance的原理。kafka的consumer group有多个consumer实例，这些consumer实例是怎么分配topic分区的呢，这就需要kafka rebalance来实现这个功能。rebalance是怎么触发的，有3个条件，可以触发kafka的rebalance流程。
1.组成员发生变更。当有新的consumer加入组，或者已有consumer崩溃时则触发rebalance流程。
2.组订阅的topic数发生变更。当consumer group订阅了新的topic时，也会触发rebalance流程。
3.组订阅的topic的分区数发生变更。当consumer group订阅的topic的分区数变更时，也会触发rebalance流程。
最多的情况就是第一个条件发生时，比如consumer实例崩溃，或者设置的consumer参数request.timeout.ms,max.poll.records和max.poll.interval.ms不合理时，则会触发rebalance流程。
rebalance分区分配时，使用的是rebalance协议，下面介绍一下这个协议。kafka提供了5个协议来处理rebalance操作。
JoinGroup请求: consumer请求加入组。
SyncGroup请求: group leader把分配方案同步更新到组内所有成员中。
LeaveGroup请求: consumer即将离开组的请求。
DescribeGroup请求: 查看组的所有成员信息，包括成员信息，协议信息，分配方案以及订阅信息等。
Heartbeat请求: consumer发送心跳请求。
consumer group在执行rebalance之前必须确定coordinator所在的broker，并创建与该broker通信的连接。成功连接coordinator之后就可以执行rebalance操作。目前rebalance主要分为两步:加入组和同步更新分配方案。
加入组:这一步中组内所有consumer向coordinator发送JoinGroup请求。当所有JoinGroup请求都发送完成后，coordinator会从中选择一个consumer成为group的leader，并把所有成员信息以及它们的订阅信息发送给leader。
同步更新分配方案。这一步中leader开始制定分配方案，即根据分配策略决定每个consumer都负责哪些topic分区。一旦分配完成，leader会把这个分配方案放入到SyncGroup请求并发送给coordinator。而coordinator接收到分配方案后把属于每个consumer的方案放入SyncGroup请求的response返回给consumer。
发送SyncGroup请求会同步每个consumer的状态信息，在所有成员都接受到SyncGroup的response后，每个成员按照coordinator的方案进行工作。
consumer group的分配方案是在consumer端执行的。这样即使以后分区策略发生了变更，也只需要重启consumer实例即可，不需要重启kafka broker。
到这里，我们介绍了kafka rebalance的原理，kafka rebalance的原理我们就讲到这里了。