ELK基础
1. ELFK 架构
| 组件 | 主要职责 |
|---|---|
| Filebeat | 轻量级采集,部署在日志产生端 |
| Logstash | 解析、转换、丰富和路由日志 |
| Elasticsearch | 存储、检索和聚合分析 |
| Kibana | 查询、可视化和 Dashboard |
典型分工:
- Filebeat 部署在每台业务节点,负责采集和初步结构化。
- Logstash 集中处理复杂解析,例如多来源合并、字段转换和条件路由。
- 简单场景可直接使用
Filebeat → Elasticsearch,不必无意义地增加 Logstash。 - 组件越多,链路越灵活,但延迟、CPU、内存和运维复杂度也会增加。
示例地址:
| 角色 | 文档示例地址 |
|---|---|
| Elasticsearch 节点 | 192.0.2.11~192.0.2.13 |
| Filebeat | 192.0.2.11 |
| Logstash | 192.0.2.13 |
| Kibana | 192.0.2.11 |
2. Filebeat filestream 基础
2.1 与 log input 的关系
filestream 是较新的文件输入类型,适合持续采集本地文件。与旧的 log 输入相比,重点关注:
- 必须有稳定唯一的输入
id。 - 支持文件指纹和更明确的采集状态。
- 可组合
ndjson、multiline等解析器。 - 升级前应验证偏移、轮转和重复采集行为。
2.2 基础配置
filebeat.inputs:
- type: filestream
id: demo-app-log
paths:
- /var/log/demo-app.log
output.console:
pretty: true
运行:
sudo filebeat test config -c /etc/filebeat/config/filestream-demo.yml
sudo filebeat -e -c /etc/filebeat/config/filestream-demo.yml
id 不应随 Filebeat 重启变化,否则可能影响采集状态的连续识别。
3. filestream 解析 Nginx JSON 日志
3.1 配置
文件:/etc/filebeat/config/11-filestream-json.yml
filebeat.inputs:
- type: filestream
id: demo-nginx-json
paths:
- /var/log/nginx/access.log
parsers:
- ndjson:
target: ""
message_key: message
add_error_key: true
output.elasticsearch:
hosts:
- "http://192.0.2.11:9200"
- "http://192.0.2.12:9200"
- "http://192.0.2.13:9200"
index: "demo-nginx-json"
setup.ilm.enabled: false
setup.template.name: "demo-filebeat"
setup.template.pattern: "demo-*"
setup.template.overwrite: false
setup.template.settings:
index.number_of_shards: 3
index.number_of_replicas: 0
字段含义:
| 配置 | 作用 |
|---|---|
type: filestream | 使用文件流输入 |
id | 唯一标识该输入 |
paths | 指定采集文件 |
ndjson.target: "" | 将 JSON 字段放到事件顶层 |
message_key | 指定需要解析的行字段 |
add_error_key | 解析失败时增加错误信息 |
3.2 启动与验证
为避免旧偏移影响测试,不建议删除公共的 /var/lib/filebeat。使用独立数据目录:
sudo install -d -o filebeat -g filebeat /var/lib/filebeat-nginx-json
sudo filebeat test config -c /etc/filebeat/config/11-filestream-json.yml
sudo filebeat test output -c /etc/filebeat/config/11-filestream-json.yml
sudo filebeat -e \
-c /etc/filebeat/config/11-filestream-json.yml \
--path.data /var/lib/filebeat-nginx-json
追加测试请求:
curl -s -o /dev/null http://192.0.2.11/
验证:
GET http://192.0.2.11:9200/demo-nginx-json/_search?pretty&size=3
检查 JSON 字段是否位于文档顶层,以及 @timestamp 是否被正确识别。
4. filestream 多行匹配
4.1 适用场景
Java 异常堆栈通常会跨多行:
2026-07-15 10:20:30 ERROR Request failed
java.lang.IllegalStateException: example
at demo.Service.run(Service.java:42)
at demo.Main.main(Main.java:10)
如果逐行采集,堆栈会被拆成多条事件。
4.2 配置
filebeat.inputs:
- type: filestream
id: demo-tomcat-catalina
paths:
- /opt/demo-tomcat/logs/catalina.out
parsers:
- multiline:
type: pattern
pattern: '^\d{4}-\d{2}-\d{2}[ T]\d{2}:\d{2}:\d{2}'
negate: true
match: after
max_lines: 500
timeout: 5s
output.elasticsearch:
hosts:
- "http://192.0.2.11:9200"
- "http://192.0.2.12:9200"
- "http://192.0.2.13:9200"
index: "demo-tomcat-catalina"
setup.ilm.enabled: false
setup.template.name: "demo-filebeat"
setup.template.pattern: "demo-*"
setup.template.overwrite: false
多行逻辑:
pattern匹配一条新事件的开头。negate: true表示不匹配开头模式的行属于上一事件的续行。match: after表示把续行追加到前一条事件后面。- 正则必须以实际日志格式为准。
如果 Tomcat 日志以两位日期开头,而实际格式确实是 12-Jul-2026 ...,正则可能是 ^\d{2};如果日志是 2026-07-15 ...,^\d{2} 会过于宽松。不要直接照搬未验证的正则。
4.3 验证
在 Kibana 中查看单条文档:
- 异常首行和堆栈各行的文本应位于同一个
message中。 - 一个异常不应被拆成多个文档。
- 多个相邻异常不应被错误合并成一条超大文档。
5. 同时解析 JSON 与多行
5.1 格式化 JSON 不适合逐行采集
以下 JSON 跨 4 行,若直接逐行读取,ndjson 解析器会失败:
{
"name": "用户 A",
"tags": ["阅读", "运动", "学习"],
"active": true
}
5.2 组合 multiline 和 ndjson
当每个对象固定占 4 行时:
filebeat.inputs:
- type: filestream
id: demo-pretty-json
paths:
- /tmp/demo-apps.json
parsers:
- multiline:
type: count
count_lines: 4
- ndjson:
target: ""
add_error_key: true
output.console:
pretty: true
执行顺序是先合并固定行数,再按 JSON 解析。
局限:
- 只要有一条对象不是 4 行,后续数据就会错位。
- 应优先让应用输出一行一个 JSON 对象。
- 使用
jq -c等方式压缩后,可直接使用ndjson,无需count多行解析。
# 将格式化 JSON 转为每行一个对象
jq -c . /tmp/demo-pretty.json > /tmp/demo-one-line.json
6. Filebeat 模块
6.1 模块的作用
Filebeat 模块是官方提供的常见软件日志采集方案,通常包含:
- 默认日志路径。
- Ingest Pipeline。
- 字段解析和 ECS 字段映射。
- 索引模板。
- 可选 Dashboard。
查看模块:
filebeat modules list
启用或禁用:
sudo filebeat modules enable nginx tomcat
sudo filebeat modules disable nginx tomcat
filebeat modules list
启用模块的本质是把 /etc/filebeat/modules.d/*.yml.disabled 变为 *.yml,但模块中的字段配置和 Pipeline 同样需要正确加载。
6.2 配置 Nginx 模块
文件:/etc/filebeat/modules.d/nginx.yml
- module: nginx
access:
enabled: true
var.paths:
- /var/log/nginx/access.log*
error:
enabled: true
var.paths:
- /var/log/nginx/error.log*
ingress_controller:
enabled: false
Nginx 模块通常按 Nginx 默认访问日志格式解析。若应用输出自定义 JSON,更适合使用手工 filestream + ndjson,或另行编写 Ingest Pipeline。
6.3 Filebeat 主配置
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: true
reload.period: 5s
output.elasticsearch:
hosts:
- "http://192.0.2.11:9200"
- "http://192.0.2.12:9200"
- "http://192.0.2.13:9200"
index: "demo-modules-nginx"
setup.ilm.enabled: false
setup.template.name: "demo-module-template"
setup.template.pattern: "demo-*"
setup.template.overwrite: false
初始化模块资源:
sudo filebeat test config -c /etc/filebeat/config/14-modules-nginx.yml
sudo filebeat setup --pipelines --modules nginx
sudo filebeat -e -c /etc/filebeat/config/14-modules-nginx.yml
注意:
- 模块输入与手工输入不能同时采集同一文件,否则可能产生重复文档。
- 自定义索引的模板匹配范围必须包含实际索引。
- 修改模块配置后,热加载会重新读取模块配置。
7. Kibana 用户地理分布分析
7.1 所需数据
要制作地图,需要:
- 公共 IP 地址,或已经通过 GeoIP 数据库解析出的国家、城市和经纬度。
- 一个映射为
geo_point的坐标字段。 - 正确的索引模式和地图图层配置。
Filebeat Nginx 模块通常使用 ECS 字段:
source.ip
source.geo.location
source.geo.country_name
source.geo.city_name
7.2 检查映射
GET http://192.0.2.11:9200/demo-modules-nginx/_mapping
坐标字段应为:
{
"source": {
"properties": {
"geo": {
"properties": {
"location": {
"type": "geo_point"
}
}
}
}
}
}
如果字段已经被动态映射为普通对象,通常不能直接改成 geo_point,需要:
- 修正索引模板或 Ingest Pipeline。
- 创建新索引。
- 重新导入或重建数据。
7.3 GeoIP 处理
文件或模块未自动生成 GeoIP 字段时,可使用 Elasticsearch geoip processor,但需要合法、可信的 IP 地理数据库。
安全注意:
- 不要在笔记或共享数据中记录真实用户 IP。
- 实验可使用组织提供的脱敏数据。
- 地理定位存在误差,不能作为精确位置证明。
- 使用第三方 IP 数据库时应遵守许可和数据合规要求。
7.4 在 Maps 中出图
- 在 Kibana 进入
Maps。 - 添加 Documents 图层。
- 选择索引模式
demo-modules-nginx*。 - 选择
source.geo.location作为地理字段。 - 配置聚合方式,例如按 Count 或 Unique Count。
- 保存地图并加入 Dashboard。
若地图没有数据,先检查字段是否为 geo_point,再检查文档中是否存在有效经纬度。
8. Kibana 用户设备类型分析
8.1 Nginx 模块字段
User-Agent 经过解析后通常形成 ECS 字段,例如:
user_agent.original
user_agent.name
user_agent.version
user_agent.device.name
user_agent.os.name
user_agent.os.version
实际字段以索引映射为准。
8.2 可视化
- 新建 Terms 聚合。
- 字段选择
user_agent.os.name或user_agent.device.name。 - 设置合适的显示数量。
- 图表可选择柱状图、饼图或表格。
- 保存为“设备类型分布”。
还可以制作:
- 移动端与桌面端访问趋势。
- 不同操作系统版本的访问量。
- 浏览器分布。
- 设备类型与状态码的交叉分析。
8.3 自定义 JSON 日志的 User-Agent
如果日志字段是 http_user_agent,可创建一个 User-Agent Ingest Pipeline:
PUT http://192.0.2.11:9200/_ingest/pipeline/demo-user-agent
Content-Type: application/json
{
"processors": [
{
"user_agent": {
"field": "http_user_agent",
"target_field": "user_agent",
"ignore_missing": true
}
}
]
}
随后让目标索引模板引用该 Pipeline。不要在已有字段映射不匹配的索引上直接尝试修改。
9. Kibana 不显示数据的排查
9.1 文件已被采集
Filebeat 会记录采集偏移。如果测试文件之前已经被读取,日志又没有新增内容,就不会再次产生相同文档。
正确做法:
- 检查输入文件是否有新追加内容。
- 查看
/var/lib/filebeat或自定义--path.data。 - 实验环境可停止服务、备份数据目录并使用新的独立数据目录。
- 不要在公共数据目录上直接执行不可恢复的删除。
9.2 索引模式冲突
检查:
- Kibana 索引模式是否匹配实际索引。
- 自定义索引是否带日期后缀。
- 是否误选了旧索引模式。
- 索引中字段名称是否与 UI 选择的一致。
GET http://192.0.2.11:9200/_cat/indices?v
GET http://192.0.2.11:9200/demo-modules-nginx/_search?pretty&size=1
9.3 地理字段映射错误
常见问题:source.geo.location 被识别为对象,而不是 geo_point。
处理:
- 查看
_mapping。 - 修正索引模板和 Pipeline。
- 新建索引重新导入。
9.4 Discover 字段不存在
可能原因:
- JSON 解析失败。
- Ingest Pipeline 未执行。
- 字段名与实际日志不同。
- 字段没有被映射。
- 文档
_source中存在字段,但索引模式尚未刷新。
9.5 Map 字段选择错误
- 选择
source.geo.location,不要选择普通国家或城市文本字段。 - 检查坐标范围:纬度
-90到90,经度-180到180。 - 检查数据中是否包含空值或
-。
9.6 时间范围错误
检查:
- Kibana 时间筛选是否覆盖数据时间。
@timestamp是否正确解析。- 日志时区与 Elasticsearch 查询时区是否存在偏差。
- 数据是否集中在预期时间范围之外。
9.7 采集范围过大
/var/log/*.log 或 access.log* 可能匹配大量文件,造成数据超出预期。应收窄路径并排除轮转归档或无关日志。
9.8 配置错误
sudo filebeat test config -c /etc/filebeat/config/demo.yml
sudo filebeat test output -c /etc/filebeat/config/demo.yml
sudo journalctl -u filebeat -f
YAML 对缩进敏感,列表、映射和冒号后空格都必须正确。
10. Elasticsearch JVM 优化
10.1 堆大小原则
-Xms与-Xmx应设置为相同值。- 堆内存通常从物理内存的 50% 或更少作为起点。
- 必须为操作系统文件缓存保留足够内存。
- 不建议把堆设置为超过约 32 GB 后仍期待压缩普通对象指针继续生效。
- 实际值应根据节点角色、文档规模、查询复杂度和压测结果调整。
10.2 使用独立参数文件
优先在 /etc/elasticsearch/jvm.options.d/heap.options 中配置:
-Xms4g
-Xmx4g
不要直接在同一条命令中重复添加多个冲突的 -Xms、-Xmx。实验环境可适当降低,但应满足当前 Elasticsearch 版本的启动要求。
10.3 分发配置
多节点环境应使用 Ansible、配置管理平台或受控发布流程分发经过审核的参数文件。直接 scp 到所有节点容易遗漏版本差异和权限问题。
10.4 滚动重启
生产环境应逐个节点重启,并在每一步检查:
GET http://192.0.2.11:9200/_cluster/health?pretty
GET http://192.0.2.11:9200/_cat/nodes?v
GET http://192.0.2.11:9200/_nodes/stats/jvm?human
GET http://192.0.2.11:9200/_nodes/stats/os?human
GET http://192.0.2.11:9200/_nodes/stats/fs?human
重点观察:
- JVM Heap Used 是否持续升高。
- Old Generation 是否有持续无法回收的趋势。
- GC 时间和频率是否明显增加。
- 节点是否出现频繁 Full GC 或脱离集群。
- 磁盘水位是否健康。
- 系统是否发生 Swap。
11. Logstash 部署
11.1 作用
Logstash 是服务端数据处理管道,包含:
Input → Filter → Output
- Input:从文件、Beat、TCP、Kafka 等来源读取数据。
- Filter:拆分字段、转换类型、补充字段和执行条件逻辑。
- Output:发送到 Elasticsearch、文件、Kafka 或其他目标。
Filebeat 更轻量,适合部署在大量业务节点;Logstash 功能更丰富,适合集中处理。
11.2 安装
wget "https://artifacts.elastic.co/downloads/logstash/logstash-${ELASTIC_VERSION}-amd64.deb"
sudo dpkg -i "logstash-${ELASTIC_VERSION}-amd64.deb"
sudo ln -sf /usr/share/logstash/bin/logstash /usr/local/bin/logstash
logstash --version
推荐使用 /usr/local/bin 存放管理员命令,而不是把非系统程序放入 /usr/local/sbin。
12. Logstash 基础管道
12.1 标准输入输出
文件:/etc/logstash/config/01-stdin-stdout.conf
input {
stdin {}
}
output {
stdout {
codec => rubydebug
}
}
运行:
logstash -f /etc/logstash/config/01-stdin-stdout.conf
输入测试文本后,会看到包含以下字段的事件:
@timestamp
message
host
@version
12.2 配置测试
logstash -f /etc/logstash/config/01-stdin-stdout.conf \
--config.test_and_exit
开启配置自动重新加载:
logstash -r -f /etc/logstash/config/01-stdin-stdout.conf
13. 模拟业务日志
下面的脚本生成带固定模板的购物业务日志:
#!/usr/bin/env python3
import logging
import random
import sys
import time
LOG_FORMAT = "%(levelname)s %(asctime)s [com.example.%(module)s] - %(message)s"
DATE_FORMAT = "%Y-%m-%d %H:%M:%S"
logging.basicConfig(
level=logging.INFO,
format=LOG_FORMAT,
datefmt=DATE_FORMAT,
filename=sys.argv[1],
filemode="a",
)
actions = [
"browse",
"comment",
"favorite",
"add_to_cart",
"submit_order",
"use_coupon",
"claim_coupon",
"search",
"view_order",
"pay",
"clear_cart",
]
for _ in range(100):
time.sleep(random.uniform(0.1, 0.5))
user_id = random.randint(1, 10000)
price = round(random.uniform(100, 1000), 2)
action = random.choice(actions)
vip = random.choice([0, 1])
logging.info("DAU|%s|%s|%s|%s", user_id, action, vip, price)
生成日志:
python3 generate_log.py /tmp/apps.log
tail -n 5 /tmp/apps.log
日志行示例:
INFO 2026-07-15 10:30:00,123 [com.example.main] - DAU|1001|pay|1|299.00
14. Logstash 解析业务日志
14.1 文件输入
input {
file {
path => ["/tmp/apps.log"]
start_position => "beginning"
sincedb_path => "/var/lib/logstash/sincedb-demo-app"
}
}
说明:
start_position => "beginning"主要用于从未读取过的文件。- 文件读取位置由
sincedb保存。 - 修改
sincedb_path会生成独立读取状态。 - 删除
sincedb可能导致重复读取,不应作为常规更新配置的方法。
14.2 拆分字段
filter {
mutate {
split => {
"message" => "|"
}
add_field => {
"other" => "%{[message][0]}"
"userId" => "%{[message][1]}"
"action" => "%{[message][2]}"
"vip" => "%{[message][3]}"
"price" => "%{[message][4]}"
}
}
mutate {
split => {
"other" => " "
}
add_field => {
"datetime" => "%{[other][1]} %{[other][2]}"
}
remove_field => ["message", "other", "@version"]
}
mutate {
convert => {
"price" => "float"
"userId" => "integer"
}
}
}
简化后的字段结果:
| 字段 | 类型 | 含义 |
|---|---|---|
userId | integer | 用户编号 |
action | string | 用户行为 |
vip | string 或 integer | VIP 标记 |
price | float | 金额 |
datetime | string | 日志中的时间 |
@timestamp | date | Logstash 事件时间 |
生产环境更推荐:
- 使用
dissect处理稳定的分隔格式。 - 使用
grok处理带可选项的非固定文本。 - 使用
date插件把业务时间写入正确的日期字段。 - 字段名遵循 ECS,避免把业务字段与保留字段冲突。
14.3 时间解析
如果需要用日志时间替换事件时间,可增加:
date {
match => ["datetime", "yyyy-MM-dd HH:mm:ss"]
target => "@timestamp"
}
时区应明确指定,例如:
date {
match => ["datetime", "yyyy-MM-dd HH:mm:ss"]
timezone => "Asia/Shanghai"
target => "@timestamp"
}
14.4 输出到 Elasticsearch
output {
elasticsearch {
hosts => [
"http://192.0.2.11:9200",
"http://192.0.2.12:9200",
"http://192.0.2.13:9200"
]
index => "demo-business-%{+YYYY.MM.dd}"
}
}
完整配置文件名:/etc/logstash/config/02-file-to-es.conf
测试:
logstash -f /etc/logstash/config/02-file-to-es.conf \
--config.test_and_exit
logstash -r -f /etc/logstash/config/02-file-to-es.conf
验证:
GET http://192.0.2.11:9200/_cat/indices/demo-business-*?v
GET http://192.0.2.11:9200/demo-business-*/_search?pretty&size=3
15. Filebeat 输出到 Logstash
15.1 Logstash Beats 输入
input {
beats {
port => 5044
}
}
filter {
# 在这里解析、转换和补充字段
}
output {
elasticsearch {
hosts => ["http://192.0.2.11:9200"]
index => "demo-elk-%{+YYYY.MM.dd}"
}
}
15.2 Filebeat 输出
filebeat.inputs:
- type: filestream
id: demo-nginx-to-logstash
paths:
- /var/log/nginx/access.log
output.logstash:
hosts:
- "192.0.2.13:5044"
验证端口:
sudo ss -ntlp | grep ':5044'
示例未启用 TLS 和认证,仅适合隔离的实验网络。生产环境应配置证书、访问控制和防火墙。
16. Logstash 多实例与 Pipeline
16.1 配置拆分
复杂系统可按职责拆分:
/etc/logstash/pipelines/nginx.conf
/etc/logstash/pipelines/tomcat.conf
/etc/logstash/pipelines/business.conf
每个配置都应明确自己的:
- Input。
- 唯一
pipeline.id。 - Filter 条件。
- Output 索引或消息队列。
16.2 多进程实例
多个 Logstash 进程应使用独立数据目录:
sudo install -d -o logstash -g logstash /var/lib/logstash-nginx
sudo install -d -o logstash -g logstash /var/lib/logstash-tomcat
分别指定:
--path.data /var/lib/logstash-nginx
--path.data /var/lib/logstash-tomcat
还要避免:
- 多个实例监听同一端口。
- 多个 Pipeline 读取同一输入却重复写出。
- 输出条件重叠,导致同一事件写入多个非预期索引。
- 共用锁文件或临时目录。
16.3 条件路由示例
output {
if [service] == "nginx" {
elasticsearch {
hosts => ["http://192.0.2.11:9200"]
index => "demo-nginx-%{+YYYY.MM.dd}"
}
} else if [service] == "tomcat" {
elasticsearch {
hosts => ["http://192.0.2.11:9200"]
index => "demo-tomcat-%{+YYYY.MM.dd}"
}
}
}
17. 综合验证
17.1 Filebeat
sudo filebeat test config -c /etc/filebeat/config/demo.yml
sudo filebeat test output -c /etc/filebeat/config/demo.yml
sudo systemctl status filebeat
sudo journalctl -u filebeat -f
ps -ef | grep '[f]ilebeat'
17.2 Logstash
sudo systemctl status logstash
sudo journalctl -u logstash -f
sudo ss -ntlp | grep -E ':(5044|9600)\b'
curl -s http://127.0.0.1:9600/
17.3 Elasticsearch
GET http://192.0.2.11:9200/_cluster/health?pretty
GET http://192.0.2.11:9200/_cat/indices?v
GET http://192.0.2.11:9200/_nodes/stats/jvm?human
GET http://192.0.2.11:9200/demo-nginx-json/_search?pretty&size=3
17.4 常见问题
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| filestream 启动失败 | 缺少唯一 id | 为每个输入设置稳定 ID |
| JSON 解析失败 | 一个对象跨多行 | 应用输出单行 JSON,或先合并多行 |
| 异常堆栈被拆开 | 多行正则不匹配 | 用真实日志校验 pattern |
| 模块无数据 | 模块未启用或路径错误 | 检查 modules.d 和 var.paths |
| 地图没有点 | 坐标字段不是 geo_point | 修正模板并重建索引 |
| 设备类型字段缺失 | User-Agent 未解析 | 检查模块或 Ingest Pipeline |
| Filebeat 不重复采集 | 偏移已记录 | 追加新日志或使用独立数据目录 |
| Logstash 文件无数据 | sincedb 已记录位置 | 检查 sincedb_path 和文件变化 |
| Logstash 输出错误索引 | 条件或索引变量错误 | 检查字段与 %{+YYYY.MM.dd} |
| ES 反复 GC | 堆设置、查询或分片不合理 | 查看 JVM、OS、FS 与慢日志 |
18. 综合练习
- 使用
filestream + ndjson采集 Nginx JSON 访问日志。 - 使用
multiline合并 Tomcat 异常堆栈。 - 为 Filebeat 输入设置稳定且唯一的
id。 - 启用 Nginx 和 Tomcat 模块并查看模块配置。
- 在 Kibana 中制作用户地理分布图。
- 制作操作系统、浏览器和设备类型分布图。
- 排查一个
geo_point映射错误案例。 - 为 Elasticsearch 配置经过计算的 JVM 堆参数。
- 使用 Logstash 采集文件日志并拆分为结构化字段。
- 将业务日志写入 Elasticsearch,并在 Kibana 中验证。
- 搭建
Filebeat → Logstash → Elasticsearch → Kibana链路。 - 创建两个互不影响的 Logstash Pipeline。
19. 面试与一页复习
19.1 EFK 与 ELFK 的区别
- EFK:
Filebeat → Elasticsearch → Kibana,链路简单、资源占用较低。 - ELFK:
Filebeat → Logstash → Elasticsearch → Kibana,适合复杂解析、转换和路由。 - Filebeat 负责边缘采集,Logstash 负责集中处理。
19.2 常见指标
- IP 数:对客户端 IP 做 Cardinality 聚合。
- PV:对请求日志做 Count。
- UV:独立访问用户,需要明确的用户识别规则;仅按 IP 去重不等于真实 UV。
- 带宽:对响应字节数做 Sum。
- 用户分布:基于可信 IP 地理数据库或脱敏坐标数据。
- 设备分布:基于解析后的 User-Agent 字段。
19.3 核心检查
filestream必须有稳定唯一的id。- 一行一个 JSON 时直接使用
ndjson,多行 JSON 需先可靠合并。 - Java 堆栈要按真实行首规则进行多行匹配。
- Filebeat 模块与手工输入不能重复采集同一文件。
geo_point映射错误通常需要新建索引重新写入。- JVM 堆参数应成对配置,并为文件缓存保留内存。
- Logstash 的文件读取位置由
sincedb保存。 - Logstash 多实例需要独立数据目录、端口和 Pipeline 标识。
- 排查链路应覆盖数据源、Filebeat、Logstash、Elasticsearch 和 Kibana。