1.controller
问:集群中谁来充当controller?
答:每个broker启动时会向zk创建?个临时序号节点,获得的序号最?的那个broker将会作为集群中的controller,负责这么?件事:
1)当集群中有?个副本的leader挂掉,需要在集群中选举出?个新的leader,选举的规则是从isr集合中最左边获得。
2)当集群中有broker新增或减少,controller会同步信息给其他broker。
3)当集群中有分区新增或减少,controller会同步信息给其他broker。
2.rebalance机制
前提:消费组中的消费者没有指明分区来消费
触发的条件:当消费组中的消费者和分区的关系发?变化的时候
分区分配的策略:在rebalance之前,分区怎么分配会有这么三种策略:
1)range:根据公式计算得到每个消费者消费哪?个分区:前?的消费者是分区总数/消费者数量+1, 之后的消费者是分区总数/消费者数量
2)轮询: ?家轮着来
3)sticky:粘合策略,如果需要rebalance,会在之前已分配的基础上调整,不会改变之前的分配情况。如果这个策略没有开,那么就要进?全部的重新分配。建议开启。
3.HW和LEO
LEO:是某个副本最后消息的消息位置(log-end-offset)
HW:是已完成同步的位置。
消息在写?broker时,且每个broker完成这条消息的同步后,hw才会变化。
在这之前消费者是消费不到这条消息的。
在同步完成之后,HW更新之后,消费者才能消费到这条消息,
这样的?的是防?消息的丢失。