Elastic Stack 中 Kafka 与 ZooKeeper 运维
Elastic Stack 中 Kafka 与 ZooKeeper 运维
1. 示例环境
| 节点 | 文档示例地址 | 角色 |
|---|---|---|
node-01 | 192.0.2.11 | ZooKeeper、Kafka、Elasticsearch |
node-02 | 192.0.2.12 | ZooKeeper、Kafka、Elasticsearch |
node-03 | 192.0.2.13 | ZooKeeper、Kafka、Logstash |
Kafka Broker ID:
node-01 → 1
node-02 → 2
node-03 → 3
Kafka 常用端口:
| 端口 | 作用 |
|---|---|
9092 | Broker 对客户端提供连接 |
2181 | ZooKeeper 客户端端口 |
2888 | ZooKeeper Follower 与 Leader 数据同步 |
3888 | ZooKeeper Leader 选举 |
2. ZooKeeper 数据模型
ZooKeeper 使用类似文件系统的树形命名空间,每个节点称为 znode:
/
├── app
│ ├── services
│ └── config
└── kafka
└── brokers
znode 的特点:
- 路径以
/开头。 - 每个节点可以存放少量数据。
- 子节点通过完整路径访问。
- 节点数据不宜过大,ZooKeeper 不是通用数据库或大容量配置存储。
- 节点变化会生成 ZooKeeper 事务 ID(zxid)。
3. ZooKeeper 基本增删改查
连接集群:
/opt/zookeeper/bin/zkCli.sh -server \
192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181
以下命令在 zkCli.sh 交互界面中执行。
3.1 查看节点
ls /
ls /app
3.2 创建并写入数据
create /app "demo-value"
get /app
3.3 创建空数据节点
create /app/services
get /app/services
空数据可能显示为 null 或空值,具体输出取决于版本。
3.4 创建子节点
create /app/services/api "v1"
create /app/services/web "v1"
ls /app/services
3.5 修改节点数据
set /app/services/api "v2"
get /app/services/api
3.6 删除空节点
delete /app/services/web
普通 delete 要求节点没有子节点,否则会返回 Node not empty。
3.7 递归删除
deleteall /app
deleteall 会删除节点及其全部子节点,而且没有内置撤销功能。生产环境应先执行:
ls -R /app
确认目标路径后再删除。
4. ZooKeeper znode 类型
| 类型 | 创建选项 | 生命周期 |
|---|---|---|
| 永久节点 | create PATH DATA | 会话断开后仍保留 |
| 临时节点 | create -e PATH DATA | 创建它的会话失效后自动删除 |
| 永久顺序节点 | create -s PATH DATA | 永久保留,名后自动追加递增序号 |
| 临时顺序节点 | create -e -s PATH DATA | 会话失效后删除,名后追加序号 |
示例:
create /services
create -e /services/worker-01 "active"
ls /services
断开客户端并等待会话超时后,临时节点会自动消失。会话超时时间由客户端与服务器协商,示例环境常见为约 30 秒,但不应把所有客户端统一理解为固定 30 秒。
临时节点适合:
- 服务临时注册。
- Leader 选举。
- Worker 存活标识。
- 分布式锁。
5. 查看 znode 状态
stat /app
核心字段:
| 字段 | 含义 |
|---|---|
cZxid | 创建节点的事务 ID |
ctime | 创建时间 |
mZxid | 最近修改事务 ID |
mtime | 最近修改时间 |
pZxid | 最近发生子节点变化的事务 ID |
cversion | 子节点版本 |
dataVersion | 数据版本 |
aclVersion | ACL 版本 |
ephemeralOwner | 临时节点所属会话 ID;永久节点通常为 0x0 |
dataLength | 数据长度 |
numChildren | 子节点数量 |
可用 get -s PATH 同时读取数据和状态。
6. Watch 机制
6.1 一次性 Watch
get -w /app
ls -w /app
当节点数据或子节点发生变化时,客户端会收到通知。
特点:
- Watch 默认是一次性的。
- 触发通知后,如果仍需要监控变化,必须重新注册。
- 通知表示“发生了变化”,客户端随后应重新读取最新数据。
- 客户端断线并恢复后,应根据应用逻辑重新建立 Watch。
6.2 使用场景
- 配置变更通知。
- 服务注册与发现。
- Leader 或锁状态变化。
- Kafka 旧版 ZooKeeper 模式中的集群元数据协调。
避免在短时间内反复注册大量 Watch,要评估节点数量、事件频率和客户端处理能力。
7. ZooKeeper 图形化管理
可选第三方 Web 管理工具时,应满足:
- 使用可信来源和经过校验的发布包。
- 固定版本并检查公开漏洞。
- 只部署在受控内网。
- 配置 TLS、登录认证、最小权限 ACL 和访问审计。
- 不把管理界面直接暴露到公网。
- 不运行来源不明或无法核验的 JAR。
第三方工具不能替代命令行审计和备份。生产变更应通过审批流程执行。
8. ZooKeeper 四字命令
常用命令:
printf 'ruok\n' | nc 192.0.2.11 2181
printf 'srvr\n' | nc 192.0.2.11 2181
printf 'conf\n' | nc 192.0.2.11 2181
printf 'mntr\n' | nc 192.0.2.11 2181
| 命令 | 作用 |
|---|---|
ruok | 检查服务是否可响应 |
srvr | 查看版本、角色、连接和延迟等信息 |
conf | 查看当前配置 |
mntr | 查看运行指标,适合监控 |
安全要求:
- 只使用经过确认的四字命令。
- 不要配置
4lw.commands.whitelist=*。 - 限制访问来源。
- 必要时把四字命令端口与普通客户端访问分离。
9. ZooKeeper 调优
9.1 JVM Heap
实验中曾使用较小的 Heap,但生产环境建议根据压力测试设置为约 2~4 GB。ZooKeeper 主要保存协调元数据,不应依赖超大 Heap 存储业务数据。
推荐通过 systemd 环境变量设置,而不是直接修改厂商脚本:
[Service]
Environment=ZK_SERVER_HEAP=2048
修改后:
sudo systemctl daemon-reload
sudo systemctl restart zookeeper
验证 Java 进程参数:
ps -ef | grep '[z]ookeeper' | grep -o -- '-Xmx[^ ]*'
9.2 磁盘
dataDir保存快照和myid。dataLogDir保存事务日志。- 事务日志对写入延迟敏感,生产环境宜使用低延迟、可靠磁盘。
- 不要与高写入日志目录争用同一块慢盘。
- 预留充足空间并监控快照与事务日志增长。
9.3 网络与资源
- 节点间网络应低延迟、稳定。
- 文件描述符上限应满足连接和 Watch 数量。
- 避免频繁 STOP-THE-WORLD GC。
- 禁用不必要的 Swap,并监控内存压力。
- ZooKeeper 集群滚动重启,避免同时失去多数派。
10. ZooKeeper Leader 选举
集群节点启动后通过事务 ID 和服务器 ID 参与选举。简化过程:
- 每个节点进入 Looking 状态。
- 节点交换投票信息。
- 拥有较新事务历史的候选节点优先。
- 事务历史相近时,Server ID 较大的节点优先。
- 获得法定多数的节点成为 Leader。
- 其他节点成为 Follower 并同步状态。
3 节点集群的法定多数为 2:
- 停止 1 个节点:剩余 2 个节点仍可提供写服务。
- 停止 2 个节点:仅剩 1 个节点,不满足多数派,不能继续写入。
- 只有 3 个节点同时启动才能避免选举阶段持续受限;必要时逐个恢复。
11. 部署 Kafka 前的选择
Kafka 3.7.x 可运行在:
- ZooKeeper 模式:按传统方式依赖 ZooKeeper 管理元数据。
- KRaft 模式:Kafka 自身管理元数据,不再依赖 ZooKeeper。
新部署应先确认 Kafka 版本和长期方案:
- 已有 ZK 模式集群可继续使用。
- 新集群优先评估 KRaft,减少一套 ZooKeeper 运维。
- ZooKeeper 与 KRaft 的部署、运维和故障恢复方式不同,不能混用配置。
以下步骤以 ZooKeeper 模式为例。
12. Kafka 单节点部署
12.1 准备目录
sudo install -d /opt/kafka /var/lib/kafka /var/log/kafka
sudo useradd --system --home /var/lib/kafka \
--shell /usr/sbin/nologin kafka
sudo chown -R kafka:kafka /var/lib/kafka /var/log/kafka
12.2 下载与解压
wget "https://downloads.apache.org/kafka/${KAFKA_VERSION}/kafka_2.13-${KAFKA_VERSION}.tgz"
sudo tar xf "kafka_2.13-${KAFKA_VERSION}.tgz" \
-C /opt/kafka --strip-components=1
sudo chown -R root:root /opt/kafka
12.3 配置 Server
配置文件:/etc/kafka/server.properties
broker.id=1
listeners=PLAINTEXT://192.0.2.11:9092
advertised.listeners=PLAINTEXT://192.0.2.11:9092
log.dirs=/var/lib/kafka
zookeeper.connect=192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181/demo-kafka
zookeeper.connection.timeout.ms=18000
num.partitions=3
default.replication.factor=2
min.insync.replicas=2
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2
要点:
broker.id在整个 Kafka 集群中必须唯一。listeners是 Broker 实际监听地址。advertised.listeners是返回给客户端的连接地址。advertised.listeners配错是客户端连接失败的常见原因。- 使用 ZooKeeper chroot,例如
/demo-kafka,可以隔离多套 Kafka 元数据。 - 生产环境应使用 TLS/SASL,不要长期使用明文 PLAINTEXT。
12.4 启动
/opt/kafka/bin/kafka-server-start.sh \
-daemon /etc/kafka/server.properties
前台观察错误:
/opt/kafka/bin/kafka-server-start.sh \
/etc/kafka/server.properties
日志:
tail -100f /opt/kafka/logs/server.log
在 ZooKeeper 中检查 Broker 注册:
ls /demo-kafka/brokers/ids
get /demo-kafka/brokers/ids/1
Broker 注册节点通常是临时节点。Kafka 停止或会话超时后,该节点会消失。
13. Kafka 三节点集群
13.1 Broker ID 与地址
| 节点 | broker.id | advertised.listeners |
|---|---|---|
node-01 | 1 | PLAINTEXT://192.0.2.11:9092 |
node-02 | 2 | PLAINTEXT://192.0.2.12:9092 |
node-03 | 3 | PLAINTEXT://192.0.2.13:9092 |
不要复制同一份配置后只修改监听地址而忘记修改 broker.id。
13.2 启动顺序
- 确认 ZooKeeper 有 Leader 且多数节点正常。
- 启动第一个 Broker。
- 检查日志和 Broker 注册。
- 依次启动其余 Broker。
- 使用
kafka-broker-api-versions.sh或 Cluster API 检查节点。
示例:
/opt/kafka/bin/kafka-broker-api-versions.sh \
--bootstrap-server 192.0.2.11:9092
13.3 数据目录
每个 Broker 使用自己的本地数据目录和磁盘。不要把同一网络共享目录提供给多个 Broker,也不要复制一个运行中 Broker 的数据目录来创建新节点。
14. Kafka 核心术语
| 术语 | 含义 |
|---|---|
| Cluster | Kafka Broker 集合 |
| Broker | 单个 Kafka 服务实例 |
| Producer | 向 Topic 写消息的客户端 |
| Consumer | 从 Topic 读取消息的客户端 |
| Topic | 消息的逻辑分类,类似数据库表或 Elasticsearch 索引 |
| Partition | Topic 的逻辑分片,Kafka 的并行和顺序单元 |
| Replica | 分区副本 |
| Leader Replica | 当前负责该分区客户端读写的副本 |
| Follower Replica | 从 Leader 同步数据的副本 |
| ISR | 与 Leader 保持同步的副本集合 |
| Offset | 消息在分区内的递增位置 |
| Consumer Group | 协调分区分配的消费者组 |
重要限制:
- 同一消费者组内,一个分区同一时刻只分配给一个消费者。
- 不同消费者组可以各自完整消费同一个 Topic。
- Kafka 只保证同一分区内的消息顺序,不保证跨分区全局顺序。
- 副本数不能超过可用 Broker 数。
15. Topic 管理
15.1 查看 Topic
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--list
15.2 创建 Topic
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--create \
--topic demo-logs \
--partitions 3 \
--replication-factor 2
三 Broker 集群中,副本因子可以设置为 3。副本因子大于当前 Broker 数会创建失败:
Replication factor is larger than available brokers
15.3 查看 Topic 详情
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--describe
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--describe \
--topic demo-logs
重点字段:
- Partition 数量。
- Replication Factor。
- 每个分区的 Leader。
- Replica 分布。
- ISR 是否完整。
15.4 增加分区
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--alter \
--topic demo-logs \
--partitions 5
限制和影响:
- 分区数量只能增加,不能减少。
- 增加分区不会把旧消息重新分配到新分区。
- 默认按 Key 哈希分区时,后续同一 Key 可能映射到不同分区,从而破坏跨时间段的严格顺序。
- 下游消费者、状态存储和并行度可能需要同步调整。
15.5 删除 Topic
/opt/kafka/bin/kafka-topics.sh \
--bootstrap-server 192.0.2.11:9092 \
--delete \
--topic demo-logs
删除是异步操作:
- Topic 先从元数据中消失。
- 物理数据通常延迟删除。
- 延迟受
log.segment.delete.delay.ms等配置影响。 - 删除前应确认消费者、备份和下游依赖。
16. 生产者与消费者
16.1 控制台生产者
/opt/kafka/bin/kafka-console-producer.sh \
--bootstrap-server 192.0.2.11:9092 \
--topic demo-logs
输入消息:
message-001
message-002
message-003
16.2 从最新位置消费
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server 192.0.2.11:9092 \
--topic demo-logs
默认从消费者开始消费之后的新消息读取,不会自动读取启动前的全部历史。
16.3 从头消费
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server 192.0.2.11:9092 \
--topic demo-logs \
--from-beginning
--from-beginning 只有在消费者组没有已提交 Offset 时才按预期生效;已有 Offset 时应结合 --group 和重置策略确认行为。
16.4 Offset
- Offset 表示消息在某个 Partition 内的位置。
- 消费者向 Kafka 提交的是“已消费到哪里的位置”。
- 不同 Partition 各自拥有独立 Offset。
- 消费者组通常会创建或使用
__consumer_offsets内部 Topic。 - 多 Broker 集群应把内部 Topic 副本数设置到合理值,避免单 Broker 故障导致消费者组不可用。
17. Consumer Group 与 Rebalance
17.1 分区分配
同一个 Consumer Group 内:
- 一个 Partition 同一时刻只分配给一个 Consumer。
- 一个 Consumer 可以消费多个 Partition。
- 不同 Consumer Group 可以同时消费相同 Topic。
17.2 Rebalance 触发条件
- Consumer 加入或离开。
- Consumer 崩溃或会话超时。
- Topic 分区数变化。
- Consumer Group 的订阅关系变化。
- Group Coordinator 或相关 Broker 故障。
Rebalance 期间分区会重新分配,消费可能短暂停顿。频繁 Rebalance 会放大延迟和重复消费。
17.3 20 个分区的面试题
20 个 Partition:
- 5 个 Consumer:每个 Consumer 大致消费 4 个 Partition。
- 20 个 Consumer:每个 Consumer 获得 1 个 Partition,并行度达到当前分区上限。
- 50 个 Consumer:最多 20 个 Consumer 分到 Partition,另外 30 个处于空闲状态。
因此消费者数量超过分区数量后,单纯增加 Consumer 不能继续提升消费并行度。
17.4 消费者组配置
复制一份消费者配置:
group.id=demo-log-consumer
启动:
/opt/kafka/bin/kafka-console-consumer.sh \
--bootstrap-server 192.0.2.11:9092 \
--topic demo-logs \
--from-beginning \
--consumer.config /etc/kafka/consumer-demo.properties
18. 查看 Consumer Group 与 Lag
查看消费者组:
/opt/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server 192.0.2.11:9092 \
--list
查看详情:
/opt/kafka/bin/kafka-consumer-groups.sh \
--bootstrap-server 192.0.2.11:9092 \
--describe \
--group demo-log-consumer
字段:
| 字段 | 含义 |
|---|---|
CURRENT-OFFSET | Consumer Group 当前已提交位置 |
LOG-END-OFFSET | 分区当前最新位置 |
LAG | 尚未消费的消息数,通常为 End Offset 减 Current Offset |
CONSUMER-ID | 当前消费者标识 |
HOST | 消费者地址 |
Lag 持续增长说明生产速度高于消费速度,或 Consumer 出现故障、Rebalance、处理阻塞。
19. Filebeat 通过 Kafka 对接 ELFK
架构:
19.1 Filebeat 输出到 Kafka
filebeat.inputs:
- type: filestream
id: demo-kafka-log
paths:
- /var/log/demo-app.log
output.kafka:
hosts:
- "192.0.2.11:9092"
- "192.0.2.12:9092"
- "192.0.2.13:9092"
topic: "demo-logs"
compression: gzip
required_acks: 1
max_message_bytes: 1000000
参数说明:
required_acks: 1表示 Leader 写入即可确认,吞吐较高但容灾较弱。- 高可靠场景可使用
required_acks: -1或all,并配置min.insync.replicas。 max_message_bytes需与 Kafka Broker 和 Topic 的消息大小限制匹配。- 默认明文链路只适合实验环境。
19.2 Logstash 从 Kafka 消费
input {
kafka {
bootstrap_servers => "192.0.2.11:9092,192.0.2.12:9092,192.0.2.13:9092"
topics => ["demo-logs"]
group_id => "demo-logstash"
codec => json
}
}
output {
elasticsearch {
hosts => ["http://192.0.2.11:9200"]
index => "demo-kafka-log-%{+yyyy.MM.dd}"
}
}
注意:
codec应与 Filebeat 实际序列化格式一致。- 多个 Logstash 实例可以使用同一个 Consumer Group 分担分区。
- Logstash 实例数不应超过目标 Topic 的分区数太多,否则部分实例会空闲。
- Kafka 通常提供至少一次语义,需处理重复消息。
- 若需要幂等写入 Elasticsearch,应设计稳定文档 ID。
19.3 安全加固
生产链路应启用:
- Kafka TLS。
- SASL 身份认证。
- ACL Topic 读写权限。
- Elasticsearch HTTPS 和受限 API Key。
- Filebeat 与 Logstash Keystore。
不要让客户端在没有访问控制的情况下直接连接 9092 明文端口。
20. Kafka 与 ZooKeeper 排错
20.1 Kafka 启动失败
按顺序检查:
- Java 是否可用且版本兼容。
- ZooKeeper 是否有 Leader 和多数派。
broker.id是否与其他 Broker 冲突。zookeeper.connect是否正确。zookeeper.connect的 chroot 是否与其他集群冲突。listeners和advertised.listeners是否可访问。log.dirs是否存在且 Kafka 用户可写。- 磁盘空间、文件描述符、内存和端口是否正常。
- 查看
server.log的第一条根因错误。
20.2 客户端连接失败
重点检查:
- Broker 是否正常注册。
advertised.listeners是否返回客户端可访问的地址。- DNS、防火墙、路由和安全组。
- Kafka 客户端的 bootstrap server 只用于发现 Broker,之后会使用 Broker 返回的地址。
20.3 Topic 创建失败
- 副本数大于可用 Broker 数。
- 分区参数非法。
- 自动创建 Topic 被禁用。
- 用户没有 Topic 管理权限。
- Controller 或 Broker 异常。
20.4 Consumer Lag 持续增长
- 消费逻辑慢或发生阻塞。
- Consumer 数量大于分区数,产生空闲消费者。
- 网络或反序列化失败。
- 频繁 Rebalance。
- Broker 写入或磁盘异常。
- Topic 分区不足。
20.5 数据和元数据修复
删除 ZooKeeper 元数据和 Kafka 数据目录会让集群丢失元数据或消息。只在完全可丢弃的实验环境中考虑重建,并先完成:
- 停止全部 Broker。
- 备份配置、数据目录和协调元数据。
- 记录 Broker ID、Topic、Partition 和 Consumer Group。
- 确认所有下游消费者和上游生产者已停止。
- 使用受控恢复或重建流程。
- 重新验证集群、Topic 和数据。
不要把“删除元数据 + 删除日志目录”当作常规修复手段。
21. 监控与容量规划
21.1 ZooKeeper
- Leader 是否存在。
- Follower 数量。
- 连接数、Watch 数和节点数量。
- 请求延迟、事务日志和快照增长。
- JVM Heap、GC 和磁盘空间。
21.2 Kafka
- Broker 在线数。
- Under-replicated Partitions。
- Offline Partitions。
- ISR 收缩。
- Controller 变化。
- Consumer Lag。
- 磁盘使用率和 Segment 增长。
- 网络吞吐、请求延迟和线程池。
21.3 ELFK
- Filebeat 发送失败和重试队列。
- Kafka 生产速率和 Topic 分区分布。
- Logstash Consumer Lag 和批量处理耗时。
- Elasticsearch 写入拒绝、集群颜色和磁盘水位。
- Kibana 查询延迟和 Dashboard 使用情况。
22. 综合
- 在 ZooKeeper 中创建永久、临时、顺序和临时顺序节点。
- 使用
stat区分永久节点和临时节点。 - 使用一次性 Watch 观察节点变化,并在触发后重新注册。
- 使用
ruok、srvr、conf和mntr检查 ZooKeeper。 - 调整 ZooKeeper Heap 并验证 Java 进程参数。
- 部署三节点 Kafka 集群,Broker ID 分别为 1、2、3。
- 创建 3 分区、2 副本的 Topic,并查看 Leader 和 ISR。
- 将分区数增加到 5,并停止第二个 Broker。
- 使用生产者与消费者验证
--from-beginning。 - 创建 Consumer Group 并查看 Offset 与 Lag。
- 启动超过分区数量的消费者,观察空闲消费者。
- 搭建
Filebeat → Kafka → Logstash → Elasticsearch → Kibana。 - 模拟 Kafka Consumer Lag 增长并定位瓶颈。
- 设计 TLS、SASL 和 ACL 的生产安全方案。
23. 总结
- ZooKeeper 是树形命名空间,znode 只适合保存较小的协调数据。
- 临时节点在创建它的会话失效后自动删除。
- Watch 默认一次触发,需要按业务逻辑重新注册。
- 四字命令必须限制来源和允许列表。
- ZooKeeper 3 节点最多容忍 1 个节点故障。
- Kafka 由 Broker、Topic、Partition、Replica、Producer、Consumer 和 Consumer Group 构成。
- 同一个 Consumer Group 内,一个 Partition 同时只分给一个 Consumer。
- Kafka 只保证单分区内顺序。
- Partition 只能增加,不能减少;扩容会影响 Key 到 Partition 的映射。
- Consumer Lag 是监控 Kafka 消费能力的关键指标。
- Kafka 可缓冲 ELFK 峰值并解耦组件,但会引入重复消费和额外运维成本。
- 生产环境必须保护 Kafka、ZooKeeper 和 Elasticsearch 之间的传输与认证。