3
0

Elastic Stack 中 Kafka 与 ZooKeeper 运维

2026-11-02
2026-11-02
Elastic Stack 中 Kafka 与 ZooKeeper 运维

Elastic Stack 中 Kafka 与 ZooKeeper 运维

1. 示例环境

节点文档示例地址角色
node-01192.0.2.11ZooKeeper、Kafka、Elasticsearch
node-02192.0.2.12ZooKeeper、Kafka、Elasticsearch
node-03192.0.2.13ZooKeeper、Kafka、Logstash

Kafka Broker ID:

node-01 → 1
node-02 → 2
node-03 → 3

Kafka 常用端口:

端口作用
9092Broker 对客户端提供连接
2181ZooKeeper 客户端端口
2888ZooKeeper Follower 与 Leader 数据同步
3888ZooKeeper Leader 选举

2. ZooKeeper 数据模型

ZooKeeper 使用类似文件系统的树形命名空间,每个节点称为 znode:

/
├── app
│   ├── services
│   └── config
└── kafka
    └── brokers

znode 的特点:

  • 路径以 / 开头。
  • 每个节点可以存放少量数据。
  • 子节点通过完整路径访问。
  • 节点数据不宜过大,ZooKeeper 不是通用数据库或大容量配置存储。
  • 节点变化会生成 ZooKeeper 事务 ID(zxid)。

3. ZooKeeper 基本增删改查

连接集群:

/opt/zookeeper/bin/zkCli.sh -server \
  192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181

以下命令在 zkCli.sh 交互界面中执行。

3.1 查看节点

ls /
ls /app

3.2 创建并写入数据

create /app "demo-value"
get /app

3.3 创建空数据节点

create /app/services
get /app/services

空数据可能显示为 null 或空值,具体输出取决于版本。

3.4 创建子节点

create /app/services/api "v1"
create /app/services/web "v1"
ls /app/services

3.5 修改节点数据

set /app/services/api "v2"
get /app/services/api

3.6 删除空节点

delete /app/services/web

普通 delete 要求节点没有子节点,否则会返回 Node not empty。

3.7 递归删除

deleteall /app

deleteall 会删除节点及其全部子节点,而且没有内置撤销功能。生产环境应先执行:

ls -R /app

确认目标路径后再删除。

4. ZooKeeper znode 类型

类型创建选项生命周期
永久节点create PATH DATA会话断开后仍保留
临时节点create -e PATH DATA创建它的会话失效后自动删除
永久顺序节点create -s PATH DATA永久保留,名后自动追加递增序号
临时顺序节点create -e -s PATH DATA会话失效后删除,名后追加序号

示例:

create /services
create -e /services/worker-01 "active"
ls /services

断开客户端并等待会话超时后,临时节点会自动消失。会话超时时间由客户端与服务器协商,示例环境常见为约 30 秒,但不应把所有客户端统一理解为固定 30 秒。

临时节点适合:

  • 服务临时注册。
  • Leader 选举。
  • Worker 存活标识。
  • 分布式锁。

5. 查看 znode 状态

stat /app

核心字段:

字段含义
cZxid创建节点的事务 ID
ctime创建时间
mZxid最近修改事务 ID
mtime最近修改时间
pZxid最近发生子节点变化的事务 ID
cversion子节点版本
dataVersion数据版本
aclVersionACL 版本
ephemeralOwner临时节点所属会话 ID;永久节点通常为 0x0
dataLength数据长度
numChildren子节点数量

可用 get -s PATH 同时读取数据和状态。

6. Watch 机制

6.1 一次性 Watch

get -w /app
ls -w /app

当节点数据或子节点发生变化时,客户端会收到通知。

特点:

  • Watch 默认是一次性的。
  • 触发通知后,如果仍需要监控变化,必须重新注册。
  • 通知表示“发生了变化”,客户端随后应重新读取最新数据。
  • 客户端断线并恢复后,应根据应用逻辑重新建立 Watch。

6.2 使用场景

  • 配置变更通知。
  • 服务注册与发现。
  • Leader 或锁状态变化。
  • Kafka 旧版 ZooKeeper 模式中的集群元数据协调。

避免在短时间内反复注册大量 Watch,要评估节点数量、事件频率和客户端处理能力。

7. ZooKeeper 图形化管理

可选第三方 Web 管理工具时,应满足:

  • 使用可信来源和经过校验的发布包。
  • 固定版本并检查公开漏洞。
  • 只部署在受控内网。
  • 配置 TLS、登录认证、最小权限 ACL 和访问审计。
  • 不把管理界面直接暴露到公网。
  • 不运行来源不明或无法核验的 JAR。

第三方工具不能替代命令行审计和备份。生产变更应通过审批流程执行。

8. ZooKeeper 四字命令

常用命令:

printf 'ruok\n' | nc 192.0.2.11 2181
printf 'srvr\n' | nc 192.0.2.11 2181
printf 'conf\n' | nc 192.0.2.11 2181
printf 'mntr\n' | nc 192.0.2.11 2181
命令作用
ruok检查服务是否可响应
srvr查看版本、角色、连接和延迟等信息
conf查看当前配置
mntr查看运行指标,适合监控

安全要求:

  • 只使用经过确认的四字命令。
  • 不要配置 4lw.commands.whitelist=*。
  • 限制访问来源。
  • 必要时把四字命令端口与普通客户端访问分离。

9. ZooKeeper 调优

9.1 JVM Heap

实验中曾使用较小的 Heap,但生产环境建议根据压力测试设置为约 2~4 GB。ZooKeeper 主要保存协调元数据,不应依赖超大 Heap 存储业务数据。

推荐通过 systemd 环境变量设置,而不是直接修改厂商脚本:

[Service]
Environment=ZK_SERVER_HEAP=2048

修改后:

sudo systemctl daemon-reload
sudo systemctl restart zookeeper

验证 Java 进程参数:

ps -ef | grep '[z]ookeeper' | grep -o -- '-Xmx[^ ]*'

9.2 磁盘

  • dataDir 保存快照和 myid。
  • dataLogDir 保存事务日志。
  • 事务日志对写入延迟敏感,生产环境宜使用低延迟、可靠磁盘。
  • 不要与高写入日志目录争用同一块慢盘。
  • 预留充足空间并监控快照与事务日志增长。

9.3 网络与资源

  • 节点间网络应低延迟、稳定。
  • 文件描述符上限应满足连接和 Watch 数量。
  • 避免频繁 STOP-THE-WORLD GC。
  • 禁用不必要的 Swap,并监控内存压力。
  • ZooKeeper 集群滚动重启,避免同时失去多数派。

10. ZooKeeper Leader 选举

集群节点启动后通过事务 ID 和服务器 ID 参与选举。简化过程:

  1. 每个节点进入 Looking 状态。
  2. 节点交换投票信息。
  3. 拥有较新事务历史的候选节点优先。
  4. 事务历史相近时,Server ID 较大的节点优先。
  5. 获得法定多数的节点成为 Leader。
  6. 其他节点成为 Follower 并同步状态。

3 节点集群的法定多数为 2:

  • 停止 1 个节点:剩余 2 个节点仍可提供写服务。
  • 停止 2 个节点:仅剩 1 个节点,不满足多数派,不能继续写入。
  • 只有 3 个节点同时启动才能避免选举阶段持续受限;必要时逐个恢复。

11. 部署 Kafka 前的选择

Kafka 3.7.x 可运行在:

  1. ZooKeeper 模式:按传统方式依赖 ZooKeeper 管理元数据。
  2. KRaft 模式:Kafka 自身管理元数据,不再依赖 ZooKeeper。

新部署应先确认 Kafka 版本和长期方案:

  • 已有 ZK 模式集群可继续使用。
  • 新集群优先评估 KRaft,减少一套 ZooKeeper 运维。
  • ZooKeeper 与 KRaft 的部署、运维和故障恢复方式不同,不能混用配置。

以下步骤以 ZooKeeper 模式为例。

12. Kafka 单节点部署

12.1 准备目录

sudo install -d /opt/kafka /var/lib/kafka /var/log/kafka
sudo useradd --system --home /var/lib/kafka \
  --shell /usr/sbin/nologin kafka
sudo chown -R kafka:kafka /var/lib/kafka /var/log/kafka

12.2 下载与解压

wget "https://downloads.apache.org/kafka/${KAFKA_VERSION}/kafka_2.13-${KAFKA_VERSION}.tgz"
sudo tar xf "kafka_2.13-${KAFKA_VERSION}.tgz" \
  -C /opt/kafka --strip-components=1
sudo chown -R root:root /opt/kafka

12.3 配置 Server

配置文件:/etc/kafka/server.properties

broker.id=1

listeners=PLAINTEXT://192.0.2.11:9092
advertised.listeners=PLAINTEXT://192.0.2.11:9092

log.dirs=/var/lib/kafka

zookeeper.connect=192.0.2.11:2181,192.0.2.12:2181,192.0.2.13:2181/demo-kafka
zookeeper.connection.timeout.ms=18000

num.partitions=3
default.replication.factor=2
min.insync.replicas=2

offsets.topic.replication.factor=3
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=2

要点:

  • broker.id 在整个 Kafka 集群中必须唯一。
  • listeners 是 Broker 实际监听地址。
  • advertised.listeners 是返回给客户端的连接地址。
  • advertised.listeners 配错是客户端连接失败的常见原因。
  • 使用 ZooKeeper chroot,例如 /demo-kafka,可以隔离多套 Kafka 元数据。
  • 生产环境应使用 TLS/SASL,不要长期使用明文 PLAINTEXT。

12.4 启动

/opt/kafka/bin/kafka-server-start.sh \
  -daemon /etc/kafka/server.properties

前台观察错误:

/opt/kafka/bin/kafka-server-start.sh \
  /etc/kafka/server.properties

日志:

tail -100f /opt/kafka/logs/server.log

在 ZooKeeper 中检查 Broker 注册:

ls /demo-kafka/brokers/ids
get /demo-kafka/brokers/ids/1

Broker 注册节点通常是临时节点。Kafka 停止或会话超时后,该节点会消失。

13. Kafka 三节点集群

13.1 Broker ID 与地址

节点broker.idadvertised.listeners
node-011PLAINTEXT://192.0.2.11:9092
node-022PLAINTEXT://192.0.2.12:9092
node-033PLAINTEXT://192.0.2.13:9092

不要复制同一份配置后只修改监听地址而忘记修改 broker.id。

13.2 启动顺序

  1. 确认 ZooKeeper 有 Leader 且多数节点正常。
  2. 启动第一个 Broker。
  3. 检查日志和 Broker 注册。
  4. 依次启动其余 Broker。
  5. 使用 kafka-broker-api-versions.sh 或 Cluster API 检查节点。

示例:

/opt/kafka/bin/kafka-broker-api-versions.sh \
  --bootstrap-server 192.0.2.11:9092

13.3 数据目录

每个 Broker 使用自己的本地数据目录和磁盘。不要把同一网络共享目录提供给多个 Broker,也不要复制一个运行中 Broker 的数据目录来创建新节点。

14. Kafka 核心术语

术语含义
ClusterKafka Broker 集合
Broker单个 Kafka 服务实例
Producer向 Topic 写消息的客户端
Consumer从 Topic 读取消息的客户端
Topic消息的逻辑分类,类似数据库表或 Elasticsearch 索引
PartitionTopic 的逻辑分片,Kafka 的并行和顺序单元
Replica分区副本
Leader Replica当前负责该分区客户端读写的副本
Follower Replica从 Leader 同步数据的副本
ISR与 Leader 保持同步的副本集合
Offset消息在分区内的递增位置
Consumer Group协调分区分配的消费者组

重要限制:

  • 同一消费者组内,一个分区同一时刻只分配给一个消费者。
  • 不同消费者组可以各自完整消费同一个 Topic。
  • Kafka 只保证同一分区内的消息顺序,不保证跨分区全局顺序。
  • 副本数不能超过可用 Broker 数。

15. Topic 管理

15.1 查看 Topic

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --list

15.2 创建 Topic

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --create \
  --topic demo-logs \
  --partitions 3 \
  --replication-factor 2

三 Broker 集群中,副本因子可以设置为 3。副本因子大于当前 Broker 数会创建失败:

Replication factor is larger than available brokers

15.3 查看 Topic 详情

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --describe

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --describe \
  --topic demo-logs

重点字段:

  • Partition 数量。
  • Replication Factor。
  • 每个分区的 Leader。
  • Replica 分布。
  • ISR 是否完整。

15.4 增加分区

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --alter \
  --topic demo-logs \
  --partitions 5

限制和影响:

  • 分区数量只能增加,不能减少。
  • 增加分区不会把旧消息重新分配到新分区。
  • 默认按 Key 哈希分区时,后续同一 Key 可能映射到不同分区,从而破坏跨时间段的严格顺序。
  • 下游消费者、状态存储和并行度可能需要同步调整。

15.5 删除 Topic

/opt/kafka/bin/kafka-topics.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --delete \
  --topic demo-logs

删除是异步操作:

  • Topic 先从元数据中消失。
  • 物理数据通常延迟删除。
  • 延迟受 log.segment.delete.delay.ms 等配置影响。
  • 删除前应确认消费者、备份和下游依赖。

16. 生产者与消费者

16.1 控制台生产者

/opt/kafka/bin/kafka-console-producer.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --topic demo-logs

输入消息:

message-001
message-002
message-003

16.2 从最新位置消费

/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --topic demo-logs

默认从消费者开始消费之后的新消息读取,不会自动读取启动前的全部历史。

16.3 从头消费

/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --topic demo-logs \
  --from-beginning

--from-beginning 只有在消费者组没有已提交 Offset 时才按预期生效;已有 Offset 时应结合 --group 和重置策略确认行为。

16.4 Offset

  • Offset 表示消息在某个 Partition 内的位置。
  • 消费者向 Kafka 提交的是“已消费到哪里的位置”。
  • 不同 Partition 各自拥有独立 Offset。
  • 消费者组通常会创建或使用 __consumer_offsets 内部 Topic。
  • 多 Broker 集群应把内部 Topic 副本数设置到合理值,避免单 Broker 故障导致消费者组不可用。

17. Consumer Group 与 Rebalance

17.1 分区分配

同一个 Consumer Group 内:

  • 一个 Partition 同一时刻只分配给一个 Consumer。
  • 一个 Consumer 可以消费多个 Partition。
  • 不同 Consumer Group 可以同时消费相同 Topic。

17.2 Rebalance 触发条件

  • Consumer 加入或离开。
  • Consumer 崩溃或会话超时。
  • Topic 分区数变化。
  • Consumer Group 的订阅关系变化。
  • Group Coordinator 或相关 Broker 故障。

Rebalance 期间分区会重新分配,消费可能短暂停顿。频繁 Rebalance 会放大延迟和重复消费。

17.3 20 个分区的面试题

20 个 Partition:

  • 5 个 Consumer:每个 Consumer 大致消费 4 个 Partition。
  • 20 个 Consumer:每个 Consumer 获得 1 个 Partition,并行度达到当前分区上限。
  • 50 个 Consumer:最多 20 个 Consumer 分到 Partition,另外 30 个处于空闲状态。

因此消费者数量超过分区数量后,单纯增加 Consumer 不能继续提升消费并行度。

17.4 消费者组配置

复制一份消费者配置:

group.id=demo-log-consumer

启动:

/opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --topic demo-logs \
  --from-beginning \
  --consumer.config /etc/kafka/consumer-demo.properties

18. 查看 Consumer Group 与 Lag

查看消费者组:

/opt/kafka/bin/kafka-consumer-groups.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --list

查看详情:

/opt/kafka/bin/kafka-consumer-groups.sh \
  --bootstrap-server 192.0.2.11:9092 \
  --describe \
  --group demo-log-consumer

字段:

字段含义
CURRENT-OFFSETConsumer Group 当前已提交位置
LOG-END-OFFSET分区当前最新位置
LAG尚未消费的消息数,通常为 End Offset 减 Current Offset
CONSUMER-ID当前消费者标识
HOST消费者地址

Lag 持续增长说明生产速度高于消费速度,或 Consumer 出现故障、Rebalance、处理阻塞。

19. Filebeat 通过 Kafka 对接 ELFK

架构:

Filebeat
Kafka Topic
Logstash Consumer Group
Elasticsearch
Kibana

19.1 Filebeat 输出到 Kafka

filebeat.inputs:
  - type: filestream
    id: demo-kafka-log
    paths:
      - /var/log/demo-app.log

output.kafka:
  hosts:
    - "192.0.2.11:9092"
    - "192.0.2.12:9092"
    - "192.0.2.13:9092"
  topic: "demo-logs"
  compression: gzip
  required_acks: 1
  max_message_bytes: 1000000

参数说明:

  • required_acks: 1 表示 Leader 写入即可确认,吞吐较高但容灾较弱。
  • 高可靠场景可使用 required_acks: -1 或 all,并配置 min.insync.replicas。
  • max_message_bytes 需与 Kafka Broker 和 Topic 的消息大小限制匹配。
  • 默认明文链路只适合实验环境。

19.2 Logstash 从 Kafka 消费

input {
  kafka {
    bootstrap_servers => "192.0.2.11:9092,192.0.2.12:9092,192.0.2.13:9092"
    topics => ["demo-logs"]
    group_id => "demo-logstash"
    codec => json
  }
}

output {
  elasticsearch {
    hosts => ["http://192.0.2.11:9200"]
    index => "demo-kafka-log-%{+yyyy.MM.dd}"
  }
}

注意:

  • codec 应与 Filebeat 实际序列化格式一致。
  • 多个 Logstash 实例可以使用同一个 Consumer Group 分担分区。
  • Logstash 实例数不应超过目标 Topic 的分区数太多,否则部分实例会空闲。
  • Kafka 通常提供至少一次语义,需处理重复消息。
  • 若需要幂等写入 Elasticsearch,应设计稳定文档 ID。

19.3 安全加固

生产链路应启用:

  • Kafka TLS。
  • SASL 身份认证。
  • ACL Topic 读写权限。
  • Elasticsearch HTTPS 和受限 API Key。
  • Filebeat 与 Logstash Keystore。

不要让客户端在没有访问控制的情况下直接连接 9092 明文端口。

20. Kafka 与 ZooKeeper 排错

20.1 Kafka 启动失败

按顺序检查:

  1. Java 是否可用且版本兼容。
  2. ZooKeeper 是否有 Leader 和多数派。
  3. broker.id 是否与其他 Broker 冲突。
  4. zookeeper.connect 是否正确。
  5. zookeeper.connect 的 chroot 是否与其他集群冲突。
  6. listeners 和 advertised.listeners 是否可访问。
  7. log.dirs 是否存在且 Kafka 用户可写。
  8. 磁盘空间、文件描述符、内存和端口是否正常。
  9. 查看 server.log 的第一条根因错误。

20.2 客户端连接失败

重点检查:

  • Broker 是否正常注册。
  • advertised.listeners 是否返回客户端可访问的地址。
  • DNS、防火墙、路由和安全组。
  • Kafka 客户端的 bootstrap server 只用于发现 Broker,之后会使用 Broker 返回的地址。

20.3 Topic 创建失败

  • 副本数大于可用 Broker 数。
  • 分区参数非法。
  • 自动创建 Topic 被禁用。
  • 用户没有 Topic 管理权限。
  • Controller 或 Broker 异常。

20.4 Consumer Lag 持续增长

  • 消费逻辑慢或发生阻塞。
  • Consumer 数量大于分区数,产生空闲消费者。
  • 网络或反序列化失败。
  • 频繁 Rebalance。
  • Broker 写入或磁盘异常。
  • Topic 分区不足。

20.5 数据和元数据修复

删除 ZooKeeper 元数据和 Kafka 数据目录会让集群丢失元数据或消息。只在完全可丢弃的实验环境中考虑重建,并先完成:

  1. 停止全部 Broker。
  2. 备份配置、数据目录和协调元数据。
  3. 记录 Broker ID、Topic、Partition 和 Consumer Group。
  4. 确认所有下游消费者和上游生产者已停止。
  5. 使用受控恢复或重建流程。
  6. 重新验证集群、Topic 和数据。

不要把“删除元数据 + 删除日志目录”当作常规修复手段。

21. 监控与容量规划

21.1 ZooKeeper

  • Leader 是否存在。
  • Follower 数量。
  • 连接数、Watch 数和节点数量。
  • 请求延迟、事务日志和快照增长。
  • JVM Heap、GC 和磁盘空间。

21.2 Kafka

  • Broker 在线数。
  • Under-replicated Partitions。
  • Offline Partitions。
  • ISR 收缩。
  • Controller 变化。
  • Consumer Lag。
  • 磁盘使用率和 Segment 增长。
  • 网络吞吐、请求延迟和线程池。

21.3 ELFK

  • Filebeat 发送失败和重试队列。
  • Kafka 生产速率和 Topic 分区分布。
  • Logstash Consumer Lag 和批量处理耗时。
  • Elasticsearch 写入拒绝、集群颜色和磁盘水位。
  • Kibana 查询延迟和 Dashboard 使用情况。

22. 综合

  1. 在 ZooKeeper 中创建永久、临时、顺序和临时顺序节点。
  2. 使用 stat 区分永久节点和临时节点。
  3. 使用一次性 Watch 观察节点变化,并在触发后重新注册。
  4. 使用 ruok、srvr、conf 和 mntr 检查 ZooKeeper。
  5. 调整 ZooKeeper Heap 并验证 Java 进程参数。
  6. 部署三节点 Kafka 集群,Broker ID 分别为 1、2、3。
  7. 创建 3 分区、2 副本的 Topic,并查看 Leader 和 ISR。
  8. 将分区数增加到 5,并停止第二个 Broker。
  9. 使用生产者与消费者验证 --from-beginning。
  10. 创建 Consumer Group 并查看 Offset 与 Lag。
  11. 启动超过分区数量的消费者,观察空闲消费者。
  12. 搭建 Filebeat → Kafka → Logstash → Elasticsearch → Kibana。
  13. 模拟 Kafka Consumer Lag 增长并定位瓶颈。
  14. 设计 TLS、SASL 和 ACL 的生产安全方案。

23. 总结

  • ZooKeeper 是树形命名空间,znode 只适合保存较小的协调数据。
  • 临时节点在创建它的会话失效后自动删除。
  • Watch 默认一次触发,需要按业务逻辑重新注册。
  • 四字命令必须限制来源和允许列表。
  • ZooKeeper 3 节点最多容忍 1 个节点故障。
  • Kafka 由 Broker、Topic、Partition、Replica、Producer、Consumer 和 Consumer Group 构成。
  • 同一个 Consumer Group 内,一个 Partition 同时只分给一个 Consumer。
  • Kafka 只保证单分区内顺序。
  • Partition 只能增加,不能减少;扩容会影响 Key 到 Partition 的映射。
  • Consumer Lag 是监控 Kafka 消费能力的关键指标。
  • Kafka 可缓冲 ELFK 峰值并解耦组件,但会引入重复消费和额外运维成本。
  • 生产环境必须保护 Kafka、ZooKeeper 和 Elasticsearch 之间的传输与认证。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!