Elastic Stack 学习笔记
Elastic Stack 学习与实践
1. Elastic Stack 总体架构
1.1 核心组件
| 组件 | 作用 |
|---|---|
| Elasticsearch | 数据存储、全文检索和聚合分析 |
| Filebeat | 轻量级日志采集器 |
| Logstash | 日志解析、转换、过滤和输出 |
| Kibana | 数据查询、可视化和仪表盘展示 |
| Kafka | 分布式消息队列,用于缓冲和解耦数据流 |
| ZooKeeper | 为部分旧版 Kafka 架构提供分布式协调与元数据管理 |
1.2 常见架构
- EFK:
Elasticsearch + Filebeat + Kibana - ELFK:在 EFK 中增加
Logstash,适合复杂数据处理 - ELFK + Kafka:增加消息缓冲层,提高削峰、解耦和可靠性
简单场景可省略 Kafka 或 Logstash;组件越多,链路越复杂,运维成本也越高。
2. Elasticsearch 核心术语
| 术语 | 含义 |
|---|---|
| Cluster | 由多个 Elasticsearch 节点组成的集群 |
| Node | 集群中的单个 Elasticsearch 实例 |
| Index | 数据的逻辑集合,类似数据库中的表 |
| Shard | 索引的物理分片,真正负责存储和执行查询 |
| Primary Shard | 主分片,负责对应数据分片的读写 |
| Replica Shard | 副本分片,从主分片同步数据,可承担读请求 |
| Allocation | 将索引分片分配到集群节点的过程 |
| Document | Elasticsearch 中的一条 JSON 数据 |
_source | 保存用户写入的原始文档内容 |
| Metadata | 描述文档的数据,如 _index、_id 等 |
- 一个索引至少包含一个主分片。
- 主分片数量通常在创建索引时确定,修改成本较高。
- 副本分片数量可以动态调整,但副本不能与对应主分片位于同一节点。
- 较新版本不再使用自定义映射类型,统一采用
_doc作为类型占位。
3. Elasticsearch 单点部署
以下命令以 Debian/Ubuntu 的 .deb 包为例。
3.1 下载软件包
# 将 ELASTICSEARCH_VERSION 替换为实际版本
wget "https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"
如需从组织内部镜像下载,请使用经过审核的内部软件源,不要在公开笔记中记录真实地址。
3.2 安装
sudo dpkg -i "elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"
3.3 配置单节点
配置文件:/etc/elasticsearch/elasticsearch.yml
cluster.name: demo-es-cluster
node.name: es-node-01
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.type: single-node
network.host: 0.0.0.0会监听所有网卡,只适合受控实验环境。生产环境应限制监听地址,并开启认证、TLS、防火墙和最小权限控制。
3.4 启动并设置开机自启
sudo systemctl enable --now elasticsearch.service
3.5 验证服务
# 查看实时日志
sudo journalctl -u elasticsearch -f
# 检查端口
sudo ss -ntlp | grep -E ':(9200|9300)\b'
# 检查接口
curl -s "http://127.0.0.1:9200/?pretty"
# 查看节点
curl -s "http://127.0.0.1:9200/_cat/nodes?v"
正常响应中应至少包含 name、cluster_name、version.number 等字段。集群 UUID 和构建哈希属于环境内部信息,记录到共享文档时应脱敏。
3.6 可选:定义命令别名
alias yy='egrep -v "^#|^$"'
用途是快速查看配置文件中去除注释后的有效配置,不建议把与任务无关的终端样式配置混入系统级脚本。
4. 单点常见故障
4.1 配置项拼写错误
典型报错:
unknown setting [discovery type] did you mean [discovery.type]?
原因:YAML 键名写错,例如把 discovery.type 写成了 discovery type。
处理:修改配置后先校验 YAML,再重启服务。
4.2 YAML 格式错误
典型报错会指出文件、行号和列号,例如:
... in 'reader', line 77, column 1
排查重点:
- 缩进是否只使用空格。
- 冒号后是否需要空格。
- 是否混入全角字符或不可见字符。
- 列表、映射和引号是否完整。
4.3 重装后服务无法启动
原因可能包括:
- 旧进程未完全停止。
- 新旧版本数据不兼容。
- 配置目录和日志目录残留。
- 软件包安装状态异常。
处理原则:
- 先停止服务并备份配置、数据和日志。
- 确认版本升级路径和兼容性。
- 仅在实验环境且确认无需保留数据时,清理旧版本残留。
- 重新安装后检查配置、权限、日志和端口。
4.4 排查日志位置
sudo journalctl -u elasticsearch -f
sudo tail -100f "/var/log/elasticsearch/${ES_CLUSTER_NAME}.log"
分析顺序建议:先看第一条 ERROR 或 Caused by,再检查配置、JVM、权限和磁盘状态。
5. Elasticsearch 卸载与清理
5.1 停止并卸载软件
sudo systemctl stop elasticsearch.service
sudo dpkg -r elasticsearch
dpkg -r 主要卸载程序,不保证清理数据目录。若需要完全卸载,应结合发行版和软件包脚本确认具体行为。
5.2 数据处理原则
完整清理通常涉及:
- 数据目录:
/var/lib/elasticsearch - 日志目录:
/var/log/elasticsearch - 配置目录:
/etc/elasticsearch - 临时文件:按实际路径精确处理
高风险操作
不建议使用通配符一次性清空
/tmp等公共目录,也不要直接删除生产数据目录。执行前应备份或迁移数据,并确认目标路径。
6. 三节点 Elasticsearch 集群搭建
6.1 规划示例
| 主机名 | 文档示例地址 | 角色 |
|---|---|---|
es-node-01 | 192.0.2.11 | 集群候选节点 |
es-node-02 | 192.0.2.12 | 集群候选节点 |
es-node-03 | 192.0.2.13 | 集群候选节点 |
实验环境应统一时区、主机名解析、软件版本和资源限制。
sudo ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
6.2 安装软件
在所有节点执行:
sudo dpkg -i "elasticsearch-${ELASTICSEARCH_VERSION}-amd64.deb"
6.3 集群配置模板
以下是 es-node-01 的示例,其他节点只修改 node.name:
cluster.name: demo-es-cluster
node.name: es-node-01
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
transport.port: 9300
discovery.seed_hosts:
- 192.0.2.11
- 192.0.2.12
- 192.0.2.13
cluster.initial_master_nodes:
- es-node-01
- es-node-02
- es-node-03
注意:
node.name必须按节点分别修改,不能直接复制相同值。cluster.initial_master_nodes只需在集群首次形成时使用,后续不要随意修改。- 生产环境还应配置安全认证、TLS、角色划分、内存锁定和资源限制。
6.4 启动集群
分别在三个节点执行:
sudo systemctl enable --now elasticsearch.service
6.5 验证集群
# 检查本机端口
sudo ss -ntlp | grep -E ':(9200|9300)\b'
# 从任一节点查看集群健康状态
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"
# 查看节点
curl -s "http://192.0.2.11:9200/_cat/nodes?v"
# 查看集群 UUID;三个节点应一致
for host in 192.0.2.11 192.0.2.12 192.0.2.13; do
curl -s "http://${host}:9200/" | grep '"cluster_uuid"'
done
验收标准:
- 三个节点均能通过
9200端口访问。 - 三个节点返回相同的集群 UUID。
_cat/nodes能看到三个节点。- 集群中存在主节点,健康状态符合当前副本配置。
7. 集群常见故障
7.1 节点加入错误集群或出现分裂
表现:
- 部分节点属于一个集群,其余节点属于另一个集群。
- 节点列表与预期不一致。
常见原因:节点残留旧集群数据或配置,导致重新启动后使用旧的集群状态。
处理建议:
- 暂停写入,备份数据、配置和日志。
- 脱离集群的节点先停止服务。
- 确认目标集群和节点归属后,再处理该节点的专用数据目录。
- 重新加入后检查集群 UUID、节点列表和健康状态。
不要在未备份的情况下直接清空数据目录,也不要同时处理所有生产节点。
7.2 没有主节点
Elasticsearch 使用多数派机制选主,存活且参与选举的节点数必须满足法定多数,而不是简单地“有一半即可”。
排查:
curl -s "http://192.0.2.11:9200/_cat/master?v"
curl -s "http://192.0.2.11:9200/_cat/nodes?v"
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"
同时检查:
- 节点是否全部启动。
cluster.name是否一致。discovery.seed_hosts是否可达。- 防火墙和
9300端口是否开放。 - 是否为首次启动正确配置候选主节点。
7.3 集群颜色异常
| 颜色 | 含义 | 常见排查方向 |
|---|---|---|
| Green | 主分片与副本分片均正常 | 无需处理 |
| Yellow | 主分片正常,部分副本未分配 | 节点数量、副本配置、磁盘空间 |
| Red | 部分主分片不可用 | 节点离线、磁盘故障、索引损坏、分配规则 |
curl -s "http://192.0.2.11:9200/_cluster/health?pretty"
curl -s "http://192.0.2.11:9200/_cat/indices?v&health=yellow"
curl -s "http://192.0.2.11:9200/_cluster/allocation/explain?pretty"
“重启所有节点”只能作为受控实验中的尝试,不应替代对分片分配、磁盘水位和节点状态的分析。
7.4 文件缺失
如果 /etc/elasticsearch/jvm.options 等安装文件缺失:
- 优先重新安装同版本软件包。
- 或者在版本和配置完全一致的前提下,从同角色节点谨慎复制。
- 对比文件校验值,避免把不同版本的配置混用。
7.5 工具访问异常
- 公共网络下多人共享出口 IP,可能导致部分在线工具触发限制。
- 部分浏览器插件需要专用解压工具或指定浏览器。
- 应优先使用官方 API、
curl或受控客户端排查服务端问题。
8. 常用索引 API
以下示例统一使用:
http://192.0.2.11:9200
实际使用时替换为自己的 Elasticsearch 地址。
8.1 创建索引
curl -X PUT "http://192.0.2.11:9200/demo-index"
未显式指定时,索引会采用集群默认的主分片和副本配置。
8.2 查看索引
# 查看单个索引
curl -s "http://192.0.2.11:9200/demo-index?pretty"
# 查看全部索引
curl -s "http://192.0.2.11:9200/_cat/indices?v"
8.3 创建时指定分片和副本
curl -X PUT "http://192.0.2.11:9200/demo-index-001" \
-H "Content-Type: application/json" \
-d '{
"settings": {
"number_of_shards": 3,
"number_of_replicas": 1
}
}'
8.4 修改副本数量
curl -X PUT "http://192.0.2.11:9200/demo-index-001/_settings" \
-H "Content-Type: application/json" \
-d '{
"number_of_replicas": 0
}'
8.5 删除索引
curl -X DELETE "http://192.0.2.11:9200/demo-index-001"
删除索引会同时删除其中的全部文档。禁止在生产环境中使用未经确认的通配符批量删除。
9. JSON 快速入门
9.1 基础类型
| 类型 | 示例 |
|---|---|
| 字符串 | "示例文本"、"2024" |
| 数字 | 2024、3.14 |
| 布尔值 | true、false |
| 空值 | null |
9.2 数组
[
"示例文本",
"demo",
true,
2024,
null
]
9.3 对象
{
"name": "用户 A",
"hobbies": [
"阅读",
"运动",
"学习"
]
}
9.4 嵌套结构
{
"course": "示例课程",
"class": "demo-class",
"students": [
{
"name": "用户 A",
"tags": ["篮球", "音乐"]
},
{
"name": "用户 B",
"tags": ["游戏", "阅读"]
}
]
}
JSON 必须使用双引号,最后一项后面不能多写逗号。
10. 单文档操作
10.1 创建文档并自动生成 ID
curl -X POST "http://192.0.2.11:9200/demo-index/_doc" \
-H "Content-Type: application/json" \
-d '{
"name": "用户 A",
"hobbies": ["阅读", "运动"]
}'
推荐生产环境使用自动 ID,避免业务 ID 冲突。
10.2 指定文档 ID
curl -X POST "http://192.0.2.11:9200/demo-index/_doc/doc-001" \
-H "Content-Type: application/json" \
-d '{
"course": "示例课程",
"class": "demo-class"
}'
指定 ID 时应保证 ID 由系统统一生成且全局唯一。
10.3 查询文档
# 查询索引内所有文档
curl -s "http://192.0.2.11:9200/demo-index/_search?pretty"
# 按 ID 查询
curl -s "http://192.0.2.11:9200/demo-index/_doc/doc-001?pretty"
# 使用 DSL 查询
curl -X POST "http://192.0.2.11:9200/demo-index/_search?pretty" \
-H "Content-Type: application/json" \
-d '{
"query": {
"match": {
"name": "用户"
}
}
}'
10.4 修改文档
curl -X POST "http://192.0.2.11:9200/demo-index/_update/doc-001" \
-H "Content-Type: application/json" \
-d '{
"doc": {
"class": "demo-class-updated"
}
}'
10.5 删除文档
curl -X DELETE "http://192.0.2.11:9200/demo-index/_doc/doc-001"
11. 批量操作
11.1 Bulk API 规则
_bulk用于批量创建、修改或删除,数据采用 NDJSON 格式。- 每条操作元数据占一行,操作体紧随其后。
delete操作只有元数据行。- 最后一行也必须以换行符结束。
11.2 批量创建
POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson
{ "index": { "_index": "demo-bulk" } }
{ "name": "用户 A", "tags": ["阅读", "运动"] }
{ "index": { "_index": "demo-bulk" } }
{ "name": "用户 B", "tags": ["音乐", "摄影"] }
其他常用写入动作:
index:创建或覆盖文档。create:仅新建,已存在时失败。update:更新已有文档。delete:删除文档。
11.3 批量读取
POST http://192.0.2.11:9200/_mget
Content-Type: application/json
{
"docs": [
{
"_index": "demo-bulk",
"_id": "doc-001"
},
{
"_index": "demo-bulk",
"_id": "doc-002"
}
]
}
11.4 批量修改
POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson
{ "update": { "_index": "demo-bulk", "_id": "doc-001" } }
{ "doc": { "age": 18, "tags": ["学习", "练习"] } }
11.5 批量删除
POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson
{ "delete": { "_index": "demo-bulk", "_id": "doc-001" } }
{ "delete": { "_index": "demo-bulk", "_id": "doc-002" } }
11.6 选择建议
| 需求 | API |
|---|---|
| 单条文档读写 | _doc、_search |
| 批量写操作 | _bulk |
| 按多个已知 ID 批量读取 | _mget |
12. 索引与文档实践练习
在实验环境中完成:
- 创建索引
practice-001,设置 5 个主分片、0 个副本。 - 创建索引
practice-002,设置 3 个主分片、1 个副本。 - 创建索引
practice-003,设置 10 个主分片、2 个副本。 - 将
practice-003的副本数调整为 0。 - 查看全部索引。
- 创建一条自动 ID 文档。
- 创建一条指定 ID 文档。
- 使用
match查询文档。 - 更新文档中的一个字段。
- 使用
_bulk批量创建三条数据。 - 使用
_mget按 ID 批量读取。 - 删除
practice-001、practice-002、practice-003。
13. 课后作业
13.1 基础要求
- 完成课堂练习,并整理一张 Elasticsearch 思维导图。
- 创建一个商品类索引,用于练习字段映射和批量写入。
- 每名成员采集使用脱敏或虚构的数据,汇总后完成批量导入。
13.2 商品索引示例
PUT http://192.0.2.11:9200/demo-products
Content-Type: application/json
{
"aliases": {
"products-read": {}
},
"mappings": {
"properties": {
"title": {
"type": "text"
},
"price": {
"type": "float"
},
"brand": {
"type": "keyword"
},
"item": {
"type": "text"
},
"ipaddr": {
"type": "ip"
},
"producer": {
"type": "text"
},
"type": {
"type": "keyword"
},
"group": {
"type": "byte"
}
}
},
"settings": {
"number_of_shards": 3,
"number_of_replicas": 0
}
}
13.3 字段说明
| 字段 | 说明 |
|---|---|
title | 商品标题 |
price | 商品价格,使用纯数字 |
brand | 品牌 |
item | 脱敏后的商品链接或示例地址 |
ipaddr | 脱敏后的服务器 IP,建议使用文档地址 |
producer | 数据采集人,使用成员编号或化名 |
type | 商品类别 |
group | 分组编号 |
13.4 批量写入示例
POST http://192.0.2.11:9200/_bulk
Content-Type: application/x-ndjson
{ "create": { "_index": "demo-products" } }
{ "title": "示例商品 A", "price": 199.00, "brand": "示例品牌", "item": "https://example.com/item/1001", "ipaddr": "203.0.113.10", "producer": "member-01", "type": "electronics", "group": 1 }
{ "create": { "_index": "demo-products" } }
{ "title": "示例商品 B", "price": 59.90, "brand": "示例品牌", "item": "https://example.com/item/1002", "ipaddr": "203.0.113.11", "producer": "member-02", "type": "appliance", "group": 2 }
13.5 验证
curl -s "http://192.0.2.11:9200/demo-products/_count?pretty"
curl -s "http://192.0.2.11:9200/demo-products/_search?pretty&size=3"
验收时可以重点检查:
- 数据总量是否符合预期。
price是否被识别为数值。brand和type是否适合使用keyword。- IP 字段是否符合
ip类型要求。 - 导入数据是否已脱敏。
14. 扩展练习
研究如何限制 Elasticsearch 通配符删除索引的能力,并评估以下风险:
- 误删生产索引。
- 权限范围过大。
- 通配符表达式不够精确。
- 缺少操作审计和审批。
实验前应创建快照或使用可丢弃环境。生产环境中应通过角色权限、API 网关、变更审批和审计日志多层控制删除操作。
15. 面试要点
15.1 9200 与 9300 端口的区别
9200:通常提供 HTTP/HTTPS 接口,供客户端、Kibana 和运维工具访问。9300:用于 Elasticsearch 节点之间的 TCP 传输和集群通信,不应直接暴露给公网。
15.2 集群颜色
- Green:主分片和副本分片均正常分配。
- Yellow:主分片均可用,但至少有一个副本分片未分配。
- Red:至少有一个主分片不可用,部分数据可能无法访问。
15.3 主分片与副本分片的区别
- 主分片承载原始数据,并处理写入。
- 副本分片复制主分片数据,可提升可用性并分担读取压力。
- 主分片与副本分片不能位于同一节点。
15.4 索引、分片和文档的关系
Cluster
└── Index
├── Primary Shard
│ ├── Document
│ └── Document
└── Replica Shard
├── Document
└── Document
索引是逻辑数据集合,分片负责物理存储,文档是实际写入和查询的数据单元。
16. 总结
- Elastic Stack 常见链路:
Filebeat → Kafka → Logstash → Elasticsearch → Kibana。 9200面向 HTTP 客户端,9300用于节点间通信。- 主分片负责读写基础数据,副本分片提升容灾与读能力。
- 首次组建集群时配置候选主节点,后续不要随意改动引导配置。
- 集群 UUID 一致、节点互相可见、健康状态正常,是集群验收的核心检查项。
- 索引删除影响该索引下的全部文档,生产操作必须经过审批与备份。
- 单文档使用
_doc,批量写使用_bulk,批量按 ID 读使用_mget。 - 排错优先看第一条错误、配置校验、日志、端口、资源和集群健康状态。
- 共享笔记和作业数据必须脱敏,避免泄露真实身份、网络和业务信息。