1
0

Elastic Stack 学习笔记

2026-11-02
2026-11-02
Elastic Stack 学习笔记

Elastic Stack 学习与实践

1. Elastic Stack 总体架构

1.1 核心组件

组件作用
Elasticsearch数据存储、全文检索和聚合分析
Filebeat轻量级日志采集器
Logstash日志解析、转换、过滤和输出
Kibana数据查询、可视化和仪表盘展示
Kafka分布式消息队列,用于缓冲和解耦数据流
ZooKeeper为部分旧版 Kafka 架构提供分布式协调与元数据管理

1.2 常见架构

  • EFK:Elasticsearch + Filebeat + Kibana
  • ELFK:在 EFK 中增加 Logstash,适合复杂数据处理
  • ELFK + Kafka:增加消息缓冲层,提高削峰、解耦和可靠性
旧版 Kafka 协调
应用日志
Filebeat
Kafka
Logstash
Elasticsearch
Kibana
ZooKeeper

简单场景可省略 Kafka 或 Logstash;组件越多,链路越复杂,运维成本也越高。

2. Elasticsearch 核心术语

术语含义
Cluster由多个 Elasticsearch 节点组成的集群
Node集群中的单个 Elasticsearch 实例
Index数据的逻辑集合,类似数据库中的表
Shard索引的物理分片,真正负责存储和执行查询
Primary Shard主分片,负责对应数据分片的读写
Replica Shard副本分片,从主分片同步数据,可承担读请求
Allocation将索引分片分配到集群节点的过程
DocumentElasticsearch 中的一条 JSON 数据
_source保存用户写入的原始文档内容
Metadata描述文档的数据,如 _index、_id 等
  • 一个索引至少包含一个主分片。
  • 主分片数量通常在创建索引时确定,修改成本较高。
  • 副本分片数量可以动态调整,但副本不能与对应主分片位于同一节点。
  • 较新版本不再使用自定义映射类型,统一采用 _doc 作为类型占位。

3. Elasticsearch 单点部署

以下命令以 Debian/Ubuntu 的 .deb 包为例。

3.1 下载软件包

# 将 ELASTICSEARCH_VERSION 替换为实际版本
wget "https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"

如需从组织内部镜像下载,请使用经过审核的内部软件源,不要在公开笔记中记录真实地址。

3.2 安装

sudo dpkg -i "elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"

3.3 配置单节点

配置文件:/etc/elasticsearch/elasticsearch.yml

cluster.name: demo-es-cluster
node.name: es-node-01

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

network.host: 0.0.0.0
http.port: 9200
transport.port: 9300

discovery.type: single-node

network.host: 0.0.0.0 会监听所有网卡,只适合受控实验环境。生产环境应限制监听地址,并开启认证、TLS、防火墙和最小权限控制。

3.4 启动并设置开机自启

sudo systemctl enable --now elasticsearch.service

3.5 验证服务

# 查看实时日志
sudo journalctl -u elasticsearch -f

# 检查端口
sudo ss -ntlp | grep -E ':(9200|9300)\b'

# 检查接口
curl -s "http://127.0.0.1:9200/?pretty"

# 查看节点
curl -s "http://127.0.0.1:9200/_cat/nodes?v"

正常响应中应至少包含 name、cluster_name、version.number 等字段。集群 UUID 和构建哈希属于环境内部信息,记录到共享文档时应脱敏。

3.6 可选:定义命令别名

alias yy='egrep -v "^#|^$"'

用途是快速查看配置文件中去除注释后的有效配置,不建议把与任务无关的终端样式配置混入系统级脚本。

4. 单点常见故障

4.1 配置项拼写错误

典型报错:

unknown setting [discovery type] did you mean [discovery.type]?

原因:YAML 键名写错,例如把 discovery.type 写成了 discovery type。

处理:修改配置后先校验 YAML,再重启服务。

4.2 YAML 格式错误

典型报错会指出文件、行号和列号,例如:

... in 'reader', line 77, column 1

排查重点:

  • 缩进是否只使用空格。
  • 冒号后是否需要空格。
  • 是否混入全角字符或不可见字符。
  • 列表、映射和引号是否完整。

4.3 重装后服务无法启动

原因可能包括:

  • 旧进程未完全停止。
  • 新旧版本数据不兼容。
  • 配置目录和日志目录残留。
  • 软件包安装状态异常。

处理原则:

  1. 先停止服务并备份配置、数据和日志。
  2. 确认版本升级路径和兼容性。
  3. 仅在实验环境且确认无需保留数据时,清理旧版本残留。
  4. 重新安装后检查配置、权限、日志和端口。

4.4 排查日志位置

sudo journalctl -u elasticsearch -f
sudo tail -100f "/var/log/elasticsearch/${ES_CLUSTER_NAME}.log"

分析顺序建议:先看第一条 ERROR 或 Caused by,再检查配置、JVM、权限和磁盘状态。

5. Elasticsearch 卸载与清理

5.1 停止并卸载软件

sudo systemctl stop elasticsearch.service
sudo dpkg -r elasticsearch

dpkg -r 主要卸载程序,不保证清理数据目录。若需要完全卸载,应结合发行版和软件包脚本确认具体行为。

5.2 数据处理原则

完整清理通常涉及:

  • 数据目录:/var/lib/elasticsearch
  • 日志目录:/var/log/elasticsearch
  • 配置目录:/etc/elasticsearch
  • 临时文件:按实际路径精确处理

高风险操作

不建议使用通配符一次性清空 /tmp 等公共目录,也不要直接删除生产数据目录。执行前应备份或迁移数据,并确认目标路径。

6. 三节点 Elasticsearch 集群搭建

6.1 规划示例

主机名文档示例地址角色
es-node-01192.0.2.11集群候选节点
es-node-02192.0.2.12集群候选节点
es-node-03192.0.2.13集群候选节点

实验环境应统一时区、主机名解析、软件版本和资源限制。

sudo ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

6.2 安装软件

在所有节点执行:

sudo dpkg -i "elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"

6.3 集群配置模板

以下是 es-node-01 的示例,其他节点只修改 node.name:

cluster.name: demo-es-cluster
node.name: es-node-01

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

network.host: 0.0.0.0
http.port: 9200
transport.port: 9300

discovery.seed_hosts:
  - 192.0.2.11
  - 192.0.2.12
  - 192.0.2.13

cluster.initial_master_nodes:
  - es-node-01
  - es-node-02
  - es-node-03

注意:

  • node.name 必须按节点分别修改,不能直接复制相同值。
  • cluster.initial_master_nodes 只需在集群首次形成时使用,后续不要随意修改。
  • 生产环境还应配置安全认证、TLS、角色划分、内存锁定和资源限制。

6.4 启动集群

分别在三个节点执行:

sudo systemctl enable --now elasticsearch.service

6.5 验证集群

# 检查本机端口
sudo ss -ntlp | grep -E ':(9200|9300)\b'

# 从任一节点查看集群健康状态
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"

# 查看节点
curl -s "http://192.0.2.11:9200/_cat/nodes?v"

# 查看集群 UUID;三个节点应一致
for host in 192.0.2.11 192.0.2.12 192.0.2.13; do
  curl -s "http://${host}:9200/" | grep '"cluster_uuid"'
done

验收标准:

  • 三个节点均能通过 9200 端口访问。
  • 三个节点返回相同的集群 UUID。
  • _cat/nodes 能看到三个节点。
  • 集群中存在主节点,健康状态符合当前副本配置。

7. 集群常见故障

7.1 节点加入错误集群或出现分裂

表现:

  • 部分节点属于一个集群,其余节点属于另一个集群。
  • 节点列表与预期不一致。

常见原因:节点残留旧集群数据或配置,导致重新启动后使用旧的集群状态。

处理建议:

  1. 暂停写入,备份数据、配置和日志。
  2. 脱离集群的节点先停止服务。
  3. 确认目标集群和节点归属后,再处理该节点的专用数据目录。
  4. 重新加入后检查集群 UUID、节点列表和健康状态。

不要在未备份的情况下直接清空数据目录,也不要同时处理所有生产节点。

7.2 没有主节点

Elasticsearch 使用多数派机制选主,存活且参与选举的节点数必须满足法定多数,而不是简单地“有一半即可”。

排查:

curl -s "http://192.0.2.11:9200/_cat/master?v"
curl -s "http://192.0.2.11:9200/_cat/nodes?v"
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"

同时检查:

  • 节点是否全部启动。
  • cluster.name 是否一致。
  • discovery.seed_hosts 是否可达。
  • 防火墙和 9300 端口是否开放。
  • 是否为首次启动正确配置候选主节点。

7.3 集群颜色异常

颜色含义常见排查方向
Green主分片与副本分片均正常无需处理
Yellow主分片正常,部分副本未分配节点数量、副本配置、磁盘空间
Red部分主分片不可用节点离线、磁盘故障、索引损坏、分配规则
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"
curl -s "http://192.0.2.11:9200/_cat/indices?v&health=yellow"
curl -s "http://192.0.2.11:9200/_cluster/allocation/explain?pretty"

“重启所有节点”只能作为受控实验中的尝试,不应替代对分片分配、磁盘水位和节点状态的分析。

7.4 文件缺失

如果 /etc/elasticsearch/jvm.options 等安装文件缺失:

  • 优先重新安装同版本软件包。
  • 或者在版本和配置完全一致的前提下,从同角色节点谨慎复制。
  • 对比文件校验值,避免把不同版本的配置混用。

7.5 工具访问异常

  • 公共网络下多人共享出口 IP,可能导致部分在线工具触发限制。
  • 部分浏览器插件需要专用解压工具或指定浏览器。
  • 应优先使用官方 API、curl 或受控客户端排查服务端问题。

8. 常用索引 API

以下示例统一使用:

http://192.0.2.11:9200

实际使用时替换为自己的 Elasticsearch 地址。

8.1 创建索引

curl -X PUT "http://192.0.2.11:9200/demo-index"

未显式指定时,索引会采用集群默认的主分片和副本配置。

8.2 查看索引

# 查看单个索引
curl -s "http://192.0.2.11:9200/demo-index?pretty"

# 查看全部索引
curl -s "http://192.0.2.11:9200/_cat/indices?v"

8.3 创建时指定分片和副本

curl -X PUT "http://192.0.2.11:9200/demo-index-001" \
  -H "Content-Type: application/json" \
  -d '{
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1
    }
  }'

8.4 修改副本数量

curl -X PUT "http://192.0.2.11:9200/demo-index-001/_settings" \
  -H "Content-Type: application/json" \
  -d '{
    "number_of_replicas": 0
  }'

8.5 删除索引

curl -X DELETE "http://192.0.2.11:9200/demo-index-001"

删除索引会同时删除其中的全部文档。禁止在生产环境中使用未经确认的通配符批量删除。

9. JSON 快速入门

9.1 基础类型

类型示例
字符串"示例文本"、"2024"
数字2024、3.14
布尔值true、false
空值null

9.2 数组

[
  "示例文本",
  "demo",
  true,
  2024,
  null
]

9.3 对象

{
  "name": "用户 A",
  "hobbies": [
    "阅读",
    "运动",
    "学习"
  ]
}

9.4 嵌套结构

{
  "course": "示例课程",
  "class": "demo-class",
  "students": [
    {
      "name": "用户 A",
      "tags": ["篮球", "音乐"]
    },
    {
      "name": "用户 B",
      "tags": ["游戏", "阅读"]
    }
  ]
}

JSON 必须使用双引号,最后一项后面不能多写逗号。

10. 单文档操作

10.1 创建文档并自动生成 ID

curl -X POST "http://192.0.2.11:9200/demo-index/_doc" \
  -H "Content-Type: application/json" \
  -d '{
    "name": "用户 A",
    "hobbies": ["阅读", "运动"]
  }'

推荐生产环境使用自动 ID,避免业务 ID 冲突。

10.2 指定文档 ID

curl -X POST "http://192.0.2.11:9200/demo-index/_doc/doc-001" \
  -H "Content-Type: application/json" \
  -d '{
    "course": "示例课程",
    "class": "demo-class"
  }'

指定 ID 时应保证 ID 由系统统一生成且全局唯一。

10.3 查询文档

# 查询索引内所有文档
curl -s "http://192.0.2.11:9200/demo-index/_search?pretty"

# 按 ID 查询
curl -s "http://192.0.2.11:9200/demo-index/_doc/doc-001?pretty"

# 使用 DSL 查询
curl -X POST "http://192.0.2.11:9200/demo-index/_search?pretty" \
  -H "Content-Type: application/json" \
  -d '{
    "query": {
      "match": {
        "name": "用户"
      }
    }
  }'

10.4 修改文档

curl -X POST "http://192.0.2.11:9200/demo-index/_update/doc-001" \
  -H "Content-Type: application/json" \
  -d '{
    "doc": {
      "class": "demo-class-updated"
    }
  }'

10.5 删除文档

curl -X DELETE "http://192.0.2.11:9200/demo-index/_doc/doc-001"

11. 批量操作

11.1 Bulk API 规则

  • _bulk 用于批量创建、修改或删除,数据采用 NDJSON 格式。
  • 每条操作元数据占一行,操作体紧随其后。
  • delete 操作只有元数据行。
  • 最后一行也必须以换行符结束。

11.2 批量创建

POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson

{ "index": { "_index": "demo-bulk" } }
{ "name": "用户 A", "tags": ["阅读", "运动"] }
{ "index": { "_index": "demo-bulk" } }
{ "name": "用户 B", "tags": ["音乐", "摄影"] }

其他常用写入动作:

  • index:创建或覆盖文档。
  • create:仅新建,已存在时失败。
  • update:更新已有文档。
  • delete:删除文档。

11.3 批量读取

POST http://192.0.2.11:9200/_mget
Content-Type: application/json

{
  "docs": [
    {
      "_index": "demo-bulk",
      "_id": "doc-001"
    },
    {
      "_index": "demo-bulk",
      "_id": "doc-002"
    }
  ]
}

11.4 批量修改

POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson

{ "update": { "_index": "demo-bulk", "_id": "doc-001" } }
{ "doc": { "age": 18, "tags": ["学习", "练习"] } }

11.5 批量删除

POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson

{ "delete": { "_index": "demo-bulk", "_id": "doc-001" } }
{ "delete": { "_index": "demo-bulk", "_id": "doc-002" } }

11.6 选择建议

需求API
单条文档读写_doc、_search
批量写操作_bulk
按多个已知 ID 批量读取_mget

12. 索引与文档实践练习

在实验环境中完成:

  1. 创建索引 practice-001,设置 5 个主分片、0 个副本。
  2. 创建索引 practice-002,设置 3 个主分片、1 个副本。
  3. 创建索引 practice-003,设置 10 个主分片、2 个副本。
  4. 将 practice-003 的副本数调整为 0。
  5. 查看全部索引。
  6. 创建一条自动 ID 文档。
  7. 创建一条指定 ID 文档。
  8. 使用 match 查询文档。
  9. 更新文档中的一个字段。
  10. 使用 _bulk 批量创建三条数据。
  11. 使用 _mget 按 ID 批量读取。
  12. 删除 practice-001、practice-002、practice-003。

13. 课后作业

13.1 基础要求

  1. 完成课堂练习,并整理一张 Elasticsearch 思维导图。
  2. 创建一个商品类索引,用于练习字段映射和批量写入。
  3. 每名成员采集使用脱敏或虚构的数据,汇总后完成批量导入。

13.2 商品索引示例

PUT http://192.0.2.11:9200/demo-products
Content-Type: application/json

{
  "aliases": {
    "products-read": {}
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "price": {
        "type": "float"
      },
      "brand": {
        "type": "keyword"
      },
      "item": {
        "type": "text"
      },
      "ipaddr": {
        "type": "ip"
      },
      "producer": {
        "type": "text"
      },
      "type": {
        "type": "keyword"
      },
      "group": {
        "type": "byte"
      }
    }
  },
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 0
  }
}

13.3 字段说明

字段说明
title商品标题
price商品价格,使用纯数字
brand品牌
item脱敏后的商品链接或示例地址
ipaddr脱敏后的服务器 IP,建议使用文档地址
producer数据采集人,使用成员编号或化名
type商品类别
group分组编号

13.4 批量写入示例

POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson

{ "create": { "_index": "demo-products" } }
{ "title": "示例商品 A", "price": 199.00, "brand": "示例品牌", "item": "https://example.com/item/1001", "ipaddr": "203.0.113.10", "producer": "member-01", "type": "electronics", "group": 1 }
{ "create": { "_index": "demo-products" } }
{ "title": "示例商品 B", "price": 59.90, "brand": "示例品牌", "item": "https://example.com/item/1002", "ipaddr": "203.0.113.11", "producer": "member-02", "type": "appliance", "group": 2 }

13.5 验证

curl -s "http://192.0.2.11:9200/demo-products/_count?pretty"
curl -s "http://192.0.2.11:9200/demo-products/_search?pretty&size=3"

验收时可以重点检查:

  • 数据总量是否符合预期。
  • price 是否被识别为数值。
  • brand 和 type 是否适合使用 keyword。
  • IP 字段是否符合 ip 类型要求。
  • 导入数据是否已脱敏。

14. 扩展练习

研究如何限制 Elasticsearch 通配符删除索引的能力,并评估以下风险:

  • 误删生产索引。
  • 权限范围过大。
  • 通配符表达式不够精确。
  • 缺少操作审计和审批。

实验前应创建快照或使用可丢弃环境。生产环境中应通过角色权限、API 网关、变更审批和审计日志多层控制删除操作。

15. 面试要点

15.1 9200 与 9300 端口的区别

  • 9200:通常提供 HTTP/HTTPS 接口,供客户端、Kibana 和运维工具访问。
  • 9300:用于 Elasticsearch 节点之间的 TCP 传输和集群通信,不应直接暴露给公网。

15.2 集群颜色

  • Green:主分片和副本分片均正常分配。
  • Yellow:主分片均可用,但至少有一个副本分片未分配。
  • Red:至少有一个主分片不可用,部分数据可能无法访问。

15.3 主分片与副本分片的区别

  • 主分片承载原始数据,并处理写入。
  • 副本分片复制主分片数据,可提升可用性并分担读取压力。
  • 主分片与副本分片不能位于同一节点。

15.4 索引、分片和文档的关系

Cluster
└── Index
    ├── Primary Shard
    │   ├── Document
    │   └── Document
    └── Replica Shard
        ├── Document
        └── Document

索引是逻辑数据集合,分片负责物理存储,文档是实际写入和查询的数据单元。

16. 总结

  • Elastic Stack 常见链路:Filebeat → Kafka → Logstash → Elasticsearch → Kibana。
  • 9200 面向 HTTP 客户端,9300 用于节点间通信。
  • 主分片负责读写基础数据,副本分片提升容灾与读能力。
  • 首次组建集群时配置候选主节点,后续不要随意改动引导配置。
  • 集群 UUID 一致、节点互相可见、健康状态正常,是集群验收的核心检查项。
  • 索引删除影响该索引下的全部文档,生产操作必须经过审批与备份。
  • 单文档使用 _doc,批量写使用 _bulk,批量按 ID 读使用 _mget。
  • 排错优先看第一条错误、配置校验、日志、端口、资源和集群健康状态。
  • 共享笔记和作业数据必须脱敏,避免泄露真实身份、网络和业务信息。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!