我的 Kafka 旅程 - broker _生活百科

broker在kafka的服务端运行，一台服务器相当于一个broker；每个broker下可以有多个topic，每个topic可以有多个partition，在producer端可以对消息进行分区，每个partiton可以有多个副本，可以使得数据不丢失。
通常以集群模式，下面来阐述一下broker的几个状况。
分区数据与副本kafka的partition有一个leader的数据区域，是为了接收producer端发送的数据；也可以通过克隆leader的方式创建副本，leader与副本保持数据同步，也就是为了在极端情况下的数据备份，每个分区的副本交错的存在于其它分区中，尽量以平均方式存放于各分区中，也可以手动指定存放的分区（假设是因服务器硬件的配置不同），当极端情况下，leader宕机后，自动启用副本作为新leader角色，负责接收消息。
leader与副本保持通信，副本持续向leader发送健康请求，超过30秒无连接的副本，从关联的副本中删除关系；副本数据默认为1个，通常我们至少设置为2个。
# 副本数量配置项（默认为1）mis.insync.replicasbroker的应答机制在上一章阐述过，broker是对producer的应答，它会告诉producer，对接收到的数据处理情况；应答等级：(配置项为 acks)

0：不用等落地磁盘，直接应答
1：leader落地磁盘后应答
all：leader和副本都落地磁盘后再应答（默认）

精准数据数据的不重复

broker单次启动运行，会有一个唯一的运行编号
每个分区都会有一个唯一的分区编号
producer发送的每条消息都会有一个唯一的消息编号

像以上这种，对每个环节都会有唯一编号，kafka很方便的区分出每条消息的归属，为幂等性。
【我的 Kafka 旅程 - broker】# 幂等性（默认开启）enable.idempotence=true数据防丢失通过以上内容的了解，为防止数据的丢失，这里可以这样做：1、应答机制设为-1 ，确保leader和副本都保存完成2、分区副本至少有两个，确保随时有可启用的副本数据
当做到 数据不重复 + 数据防丢失，体现出数据的完整性、安全性、一致性。
数据的按序broker中的leader在接收数据时，分区缓存按序最多可存5个请求数据，成功的消息请求会落地，消息请求按序落地磁盘，若一次消息请求失败，producer会尝试重发，此时leader分区的数据落地动作会暂停，但会缓存新收到的请求数据，积满5个后暂停接收，直至之前失败的消息请求成功后，再从此消息处，重新开始按序落地磁盘。多分区按发送序号落地磁盘。
leader分区缓存接收消息示意图

文章插图
这里认为：开启幂等性 + 接收积压个数 + 按序落地磁盘，可以确保单个topic多分区消息不乱序。
leader partition 的自动平衡假如，个别broker中的分区过多，个别broker中的分区过少，这不符合负载均衡。kafka默认开启了每间隔一段时间，自动检测分区分布的差异值是否超过了警戒值，当超过设定的警戒值时，自动触发平均分布的动作。

# 开启自动平衡分布（默认）auto.leader.rebalance.enable=true# 不平衡警戒触发值（默认1%）leader.imbalance.per.broker.percentage# 检测间隔时间（默认300秒）leader.imbalance.check.interval.seconds=300

通常不建议开启，或者把警戒触发值调大，或者把间隔时间设长，为减少被触发的次数；频繁性的触发平均分配，造成不必要的资源消耗。
管理节点(broker)通常是向集群中添加新节点；每个broker启动后，会先向ZK注册，每个broker有个选举leader的controller，按注册的顺序为leader角色的替代者，leader的contraller负责监听ZK的broker.Ids并管理。以下阐述对节点(broker)的管理操作。
注册新节点首先确保各IP及主机名的对应，便于后续节点相关的配置。再次确保一个全新的节点，broker.id的设置、zookeeper.connect的配置、数据及日志目录为空。启动该节点（自动注册并加入集群中）
手动设定节点分区

# 指定成员节点 ， 重新分配分区，自动将数据同步到其它节点bin/kafka-reassign-partitions.sh --broker-list '0,1,2'

减少/删除节点，同上，改变 --broker-list 的成员节点，数据将自动同步到其它节点
宕机后的数据同步leader(broker)宕机恢复后，以当前leader数据为准，这里为了数据的一致性。副本(broker)宕机恢复后，向leader请求同步数据。

我的 Kafka 旅程 - broker

推荐阅读

四大民间故事分别指什么

铁线莲的种子播种 * 和注意事项铁线莲种子播种前的处理 *

伶人是男是女

让天蝎男疯狂的水瓶女天蝎男一生难忘的水瓶女

2021一2022女排超级联赛时间表 2021一2022女排超级联赛时间

客来福衣柜与好莱客衣柜哪个质量好好莱客衣柜怎么样

天天酷跑五星宠物哪个比较好一些[多图]

长沙市毕业生档案存放地址长沙高校毕业生档案信息查询指南

健康平安的名字新生儿取名方法

铁锈水滴在车上怎么洗锈水滴在车上怎么清洗

炒茄子怎么做好吃窍门炒茄子怎么做好吃窍门图片

2020疫情期间蓝梦海洋王国开园时间

苹果13激活时间查看技巧苹果如何查询手机激活时间

观香看事可信吗观香是什么意思

小伤痕容易导致车体生锈车身容易生锈

钟原赵欣是什么电视剧啊钟原赵欣是什么电视剧啊?

男女初次见面送的花第一次约会送什么礼物好

崂山特产都有什么，青岛崂山的特产与介绍

新宝马5果断黑色宝马5系黑色

古风诗意的句子古风诗意的句子是什么