1
0

ELK基础

2026-11-02
ELK基础

1. ELFK 架构

应用与系统日志
Filebeat
Logstash
Elasticsearch
Kibana
组件主要职责
Filebeat轻量级采集,部署在日志产生端
Logstash解析、转换、丰富和路由日志
Elasticsearch存储、检索和聚合分析
Kibana查询、可视化和 Dashboard

典型分工:

  • Filebeat 部署在每台业务节点,负责采集和初步结构化。
  • Logstash 集中处理复杂解析,例如多来源合并、字段转换和条件路由。
  • 简单场景可直接使用 Filebeat → Elasticsearch,不必无意义地增加 Logstash。
  • 组件越多,链路越灵活,但延迟、CPU、内存和运维复杂度也会增加。

示例地址:

角色文档示例地址
Elasticsearch 节点192.0.2.11~192.0.2.13
Filebeat192.0.2.11
Logstash192.0.2.13
Kibana192.0.2.11

2. Filebeat filestream 基础

2.1 与 log input 的关系

filestream 是较新的文件输入类型,适合持续采集本地文件。与旧的 log 输入相比,重点关注:

  • 必须有稳定唯一的输入 id。
  • 支持文件指纹和更明确的采集状态。
  • 可组合 ndjson、multiline 等解析器。
  • 升级前应验证偏移、轮转和重复采集行为。

2.2 基础配置

filebeat.inputs:
  - type: filestream
    id: demo-app-log
    paths:
      - /var/log/demo-app.log

output.console:
  pretty: true

运行:

sudo filebeat test config -c /etc/filebeat/config/filestream-demo.yml
sudo filebeat -e -c /etc/filebeat/config/filestream-demo.yml

id 不应随 Filebeat 重启变化,否则可能影响采集状态的连续识别。

3. filestream 解析 Nginx JSON 日志

3.1 配置

文件:/etc/filebeat/config/11-filestream-json.yml

filebeat.inputs:
  - type: filestream
    id: demo-nginx-json
    paths:
      - /var/log/nginx/access.log
    parsers:
      - ndjson:
          target: ""
          message_key: message
          add_error_key: true

output.elasticsearch:
  hosts:
    - "http://192.0.2.11:9200"
    - "http://192.0.2.12:9200"
    - "http://192.0.2.13:9200"
  index: "demo-nginx-json"

setup.ilm.enabled: false
setup.template.name: "demo-filebeat"
setup.template.pattern: "demo-*"
setup.template.overwrite: false

setup.template.settings:
  index.number_of_shards: 3
  index.number_of_replicas: 0

字段含义:

配置作用
type: filestream使用文件流输入
id唯一标识该输入
paths指定采集文件
ndjson.target: ""将 JSON 字段放到事件顶层
message_key指定需要解析的行字段
add_error_key解析失败时增加错误信息

3.2 启动与验证

为避免旧偏移影响测试,不建议删除公共的 /var/lib/filebeat。使用独立数据目录:

sudo install -d -o filebeat -g filebeat /var/lib/filebeat-nginx-json

sudo filebeat test config -c /etc/filebeat/config/11-filestream-json.yml
sudo filebeat test output -c /etc/filebeat/config/11-filestream-json.yml

sudo filebeat -e \
  -c /etc/filebeat/config/11-filestream-json.yml \
  --path.data /var/lib/filebeat-nginx-json

追加测试请求:

curl -s -o /dev/null http://192.0.2.11/

验证:

GET http://192.0.2.11:9200/demo-nginx-json/_search?pretty&size=3

检查 JSON 字段是否位于文档顶层,以及 @timestamp 是否被正确识别。

4. filestream 多行匹配

4.1 适用场景

Java 异常堆栈通常会跨多行:

2026-07-15 10:20:30 ERROR Request failed
java.lang.IllegalStateException: example
    at demo.Service.run(Service.java:42)
    at demo.Main.main(Main.java:10)

如果逐行采集,堆栈会被拆成多条事件。

4.2 配置

filebeat.inputs:
  - type: filestream
    id: demo-tomcat-catalina
    paths:
      - /opt/demo-tomcat/logs/catalina.out
    parsers:
      - multiline:
          type: pattern
          pattern: '^\d{4}-\d{2}-\d{2}[ T]\d{2}:\d{2}:\d{2}'
          negate: true
          match: after
          max_lines: 500
          timeout: 5s

output.elasticsearch:
  hosts:
    - "http://192.0.2.11:9200"
    - "http://192.0.2.12:9200"
    - "http://192.0.2.13:9200"
  index: "demo-tomcat-catalina"

setup.ilm.enabled: false
setup.template.name: "demo-filebeat"
setup.template.pattern: "demo-*"
setup.template.overwrite: false

多行逻辑:

  1. pattern 匹配一条新事件的开头。
  2. negate: true 表示不匹配开头模式的行属于上一事件的续行。
  3. match: after 表示把续行追加到前一条事件后面。
  4. 正则必须以实际日志格式为准。

如果 Tomcat 日志以两位日期开头,而实际格式确实是 12-Jul-2026 ...,正则可能是 ^\d{2};如果日志是 2026-07-15 ...,^\d{2} 会过于宽松。不要直接照搬未验证的正则。

4.3 验证

在 Kibana 中查看单条文档:

  • 异常首行和堆栈各行的文本应位于同一个 message 中。
  • 一个异常不应被拆成多个文档。
  • 多个相邻异常不应被错误合并成一条超大文档。

5. 同时解析 JSON 与多行

5.1 格式化 JSON 不适合逐行采集

以下 JSON 跨 4 行,若直接逐行读取,ndjson 解析器会失败:

{
  "name": "用户 A",
  "tags": ["阅读", "运动", "学习"],
  "active": true
}

5.2 组合 multiline 和 ndjson

当每个对象固定占 4 行时:

filebeat.inputs:
  - type: filestream
    id: demo-pretty-json
    paths:
      - /tmp/demo-apps.json
    parsers:
      - multiline:
          type: count
          count_lines: 4
      - ndjson:
          target: ""
          add_error_key: true

output.console:
  pretty: true

执行顺序是先合并固定行数,再按 JSON 解析。

局限:

  • 只要有一条对象不是 4 行,后续数据就会错位。
  • 应优先让应用输出一行一个 JSON 对象。
  • 使用 jq -c 等方式压缩后,可直接使用 ndjson,无需 count 多行解析。
# 将格式化 JSON 转为每行一个对象
jq -c . /tmp/demo-pretty.json > /tmp/demo-one-line.json

6. Filebeat 模块

6.1 模块的作用

Filebeat 模块是官方提供的常见软件日志采集方案,通常包含:

  • 默认日志路径。
  • Ingest Pipeline。
  • 字段解析和 ECS 字段映射。
  • 索引模板。
  • 可选 Dashboard。

查看模块:

filebeat modules list

启用或禁用:

sudo filebeat modules enable nginx tomcat
sudo filebeat modules disable nginx tomcat
filebeat modules list

启用模块的本质是把 /etc/filebeat/modules.d/*.yml.disabled 变为 *.yml,但模块中的字段配置和 Pipeline 同样需要正确加载。

6.2 配置 Nginx 模块

文件:/etc/filebeat/modules.d/nginx.yml

- module: nginx
  access:
    enabled: true
    var.paths:
      - /var/log/nginx/access.log*
  error:
    enabled: true
    var.paths:
      - /var/log/nginx/error.log*
  ingress_controller:
    enabled: false

Nginx 模块通常按 Nginx 默认访问日志格式解析。若应用输出自定义 JSON,更适合使用手工 filestream + ndjson,或另行编写 Ingest Pipeline。

6.3 Filebeat 主配置

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: true
  reload.period: 5s

output.elasticsearch:
  hosts:
    - "http://192.0.2.11:9200"
    - "http://192.0.2.12:9200"
    - "http://192.0.2.13:9200"
  index: "demo-modules-nginx"

setup.ilm.enabled: false
setup.template.name: "demo-module-template"
setup.template.pattern: "demo-*"
setup.template.overwrite: false

初始化模块资源:

sudo filebeat test config -c /etc/filebeat/config/14-modules-nginx.yml
sudo filebeat setup --pipelines --modules nginx
sudo filebeat -e -c /etc/filebeat/config/14-modules-nginx.yml

注意:

  • 模块输入与手工输入不能同时采集同一文件,否则可能产生重复文档。
  • 自定义索引的模板匹配范围必须包含实际索引。
  • 修改模块配置后,热加载会重新读取模块配置。

7. Kibana 用户地理分布分析

7.1 所需数据

要制作地图,需要:

  • 公共 IP 地址,或已经通过 GeoIP 数据库解析出的国家、城市和经纬度。
  • 一个映射为 geo_point 的坐标字段。
  • 正确的索引模式和地图图层配置。

Filebeat Nginx 模块通常使用 ECS 字段:

source.ip
source.geo.location
source.geo.country_name
source.geo.city_name

7.2 检查映射

GET http://192.0.2.11:9200/demo-modules-nginx/_mapping

坐标字段应为:

{
  "source": {
    "properties": {
      "geo": {
        "properties": {
          "location": {
            "type": "geo_point"
          }
        }
      }
    }
  }
}

如果字段已经被动态映射为普通对象,通常不能直接改成 geo_point,需要:

  1. 修正索引模板或 Ingest Pipeline。
  2. 创建新索引。
  3. 重新导入或重建数据。

7.3 GeoIP 处理

文件或模块未自动生成 GeoIP 字段时,可使用 Elasticsearch geoip processor,但需要合法、可信的 IP 地理数据库。

安全注意:

  • 不要在笔记或共享数据中记录真实用户 IP。
  • 实验可使用组织提供的脱敏数据。
  • 地理定位存在误差,不能作为精确位置证明。
  • 使用第三方 IP 数据库时应遵守许可和数据合规要求。

7.4 在 Maps 中出图

  1. 在 Kibana 进入 Maps。
  2. 添加 Documents 图层。
  3. 选择索引模式 demo-modules-nginx*。
  4. 选择 source.geo.location 作为地理字段。
  5. 配置聚合方式,例如按 Count 或 Unique Count。
  6. 保存地图并加入 Dashboard。

若地图没有数据,先检查字段是否为 geo_point,再检查文档中是否存在有效经纬度。

8. Kibana 用户设备类型分析

8.1 Nginx 模块字段

User-Agent 经过解析后通常形成 ECS 字段,例如:

user_agent.original
user_agent.name
user_agent.version
user_agent.device.name
user_agent.os.name
user_agent.os.version

实际字段以索引映射为准。

8.2 可视化

  1. 新建 Terms 聚合。
  2. 字段选择 user_agent.os.name 或 user_agent.device.name。
  3. 设置合适的显示数量。
  4. 图表可选择柱状图、饼图或表格。
  5. 保存为“设备类型分布”。

还可以制作:

  • 移动端与桌面端访问趋势。
  • 不同操作系统版本的访问量。
  • 浏览器分布。
  • 设备类型与状态码的交叉分析。

8.3 自定义 JSON 日志的 User-Agent

如果日志字段是 http_user_agent,可创建一个 User-Agent Ingest Pipeline:

PUT http://192.0.2.11:9200/_ingest/pipeline/demo-user-agent
Content-Type: application/json

{
  "processors": [
    {
      "user_agent": {
        "field": "http_user_agent",
        "target_field": "user_agent",
        "ignore_missing": true
      }
    }
  ]
}

随后让目标索引模板引用该 Pipeline。不要在已有字段映射不匹配的索引上直接尝试修改。

9. Kibana 不显示数据的排查

9.1 文件已被采集

Filebeat 会记录采集偏移。如果测试文件之前已经被读取,日志又没有新增内容,就不会再次产生相同文档。

正确做法:

  • 检查输入文件是否有新追加内容。
  • 查看 /var/lib/filebeat 或自定义 --path.data。
  • 实验环境可停止服务、备份数据目录并使用新的独立数据目录。
  • 不要在公共数据目录上直接执行不可恢复的删除。

9.2 索引模式冲突

检查:

  • Kibana 索引模式是否匹配实际索引。
  • 自定义索引是否带日期后缀。
  • 是否误选了旧索引模式。
  • 索引中字段名称是否与 UI 选择的一致。
GET http://192.0.2.11:9200/_cat/indices?v
GET http://192.0.2.11:9200/demo-modules-nginx/_search?pretty&size=1

9.3 地理字段映射错误

常见问题:source.geo.location 被识别为对象,而不是 geo_point。

处理:

  • 查看 _mapping。
  • 修正索引模板和 Pipeline。
  • 新建索引重新导入。

9.4 Discover 字段不存在

可能原因:

  • JSON 解析失败。
  • Ingest Pipeline 未执行。
  • 字段名与实际日志不同。
  • 字段没有被映射。
  • 文档 _source 中存在字段,但索引模式尚未刷新。

9.5 Map 字段选择错误

  • 选择 source.geo.location,不要选择普通国家或城市文本字段。
  • 检查坐标范围:纬度 -90 到 90,经度 -180 到 180。
  • 检查数据中是否包含空值或 -。

9.6 时间范围错误

检查:

  • Kibana 时间筛选是否覆盖数据时间。
  • @timestamp 是否正确解析。
  • 日志时区与 Elasticsearch 查询时区是否存在偏差。
  • 数据是否集中在预期时间范围之外。

9.7 采集范围过大

/var/log/*.log 或 access.log* 可能匹配大量文件,造成数据超出预期。应收窄路径并排除轮转归档或无关日志。

9.8 配置错误

sudo filebeat test config -c /etc/filebeat/config/demo.yml
sudo filebeat test output -c /etc/filebeat/config/demo.yml
sudo journalctl -u filebeat -f

YAML 对缩进敏感,列表、映射和冒号后空格都必须正确。

10. Elasticsearch JVM 优化

10.1 堆大小原则

  • -Xms 与 -Xmx 应设置为相同值。
  • 堆内存通常从物理内存的 50% 或更少作为起点。
  • 必须为操作系统文件缓存保留足够内存。
  • 不建议把堆设置为超过约 32 GB 后仍期待压缩普通对象指针继续生效。
  • 实际值应根据节点角色、文档规模、查询复杂度和压测结果调整。

10.2 使用独立参数文件

优先在 /etc/elasticsearch/jvm.options.d/heap.options 中配置:

-Xms4g
-Xmx4g

不要直接在同一条命令中重复添加多个冲突的 -Xms、-Xmx。实验环境可适当降低,但应满足当前 Elasticsearch 版本的启动要求。

10.3 分发配置

多节点环境应使用 Ansible、配置管理平台或受控发布流程分发经过审核的参数文件。直接 scp 到所有节点容易遗漏版本差异和权限问题。

10.4 滚动重启

生产环境应逐个节点重启,并在每一步检查:

GET http://192.0.2.11:9200/_cluster/health?pretty
GET http://192.0.2.11:9200/_cat/nodes?v
GET http://192.0.2.11:9200/_nodes/stats/jvm?human
GET http://192.0.2.11:9200/_nodes/stats/os?human
GET http://192.0.2.11:9200/_nodes/stats/fs?human

重点观察:

  • JVM Heap Used 是否持续升高。
  • Old Generation 是否有持续无法回收的趋势。
  • GC 时间和频率是否明显增加。
  • 节点是否出现频繁 Full GC 或脱离集群。
  • 磁盘水位是否健康。
  • 系统是否发生 Swap。

11. Logstash 部署

11.1 作用

Logstash 是服务端数据处理管道,包含:

Input → Filter → Output
  • Input:从文件、Beat、TCP、Kafka 等来源读取数据。
  • Filter:拆分字段、转换类型、补充字段和执行条件逻辑。
  • Output:发送到 Elasticsearch、文件、Kafka 或其他目标。

Filebeat 更轻量,适合部署在大量业务节点;Logstash 功能更丰富,适合集中处理。

11.2 安装

wget "https://artifacts.elastic.co/downloads/logstash/logstash-${ELASTIC_VERSION}-amd64.deb"
sudo dpkg -i "logstash-${ELASTIC_VERSION}-amd64.deb"
sudo ln -sf /usr/share/logstash/bin/logstash /usr/local/bin/logstash
logstash --version

推荐使用 /usr/local/bin 存放管理员命令,而不是把非系统程序放入 /usr/local/sbin。

12. Logstash 基础管道

12.1 标准输入输出

文件:/etc/logstash/config/01-stdin-stdout.conf

input {
  stdin {}
}

output {
  stdout {
    codec => rubydebug
  }
}

运行:

logstash -f /etc/logstash/config/01-stdin-stdout.conf

输入测试文本后,会看到包含以下字段的事件:

@timestamp
message
host
@version

12.2 配置测试

logstash -f /etc/logstash/config/01-stdin-stdout.conf \
  --config.test_and_exit

开启配置自动重新加载:

logstash -r -f /etc/logstash/config/01-stdin-stdout.conf

13. 模拟业务日志

下面的脚本生成带固定模板的购物业务日志:

#!/usr/bin/env python3
import logging
import random
import sys
import time

LOG_FORMAT = "%(levelname)s %(asctime)s [com.example.%(module)s] - %(message)s"
DATE_FORMAT = "%Y-%m-%d %H:%M:%S"

logging.basicConfig(
    level=logging.INFO,
    format=LOG_FORMAT,
    datefmt=DATE_FORMAT,
    filename=sys.argv[1],
    filemode="a",
)

actions = [
    "browse",
    "comment",
    "favorite",
    "add_to_cart",
    "submit_order",
    "use_coupon",
    "claim_coupon",
    "search",
    "view_order",
    "pay",
    "clear_cart",
]

for _ in range(100):
    time.sleep(random.uniform(0.1, 0.5))
    user_id = random.randint(1, 10000)
    price = round(random.uniform(100, 1000), 2)
    action = random.choice(actions)
    vip = random.choice([0, 1])
    logging.info("DAU|%s|%s|%s|%s", user_id, action, vip, price)

生成日志:

python3 generate_log.py /tmp/apps.log
tail -n 5 /tmp/apps.log

日志行示例:

INFO 2026-07-15 10:30:00,123 [com.example.main] - DAU|1001|pay|1|299.00

14. Logstash 解析业务日志

14.1 文件输入

input {
  file {
    path => ["/tmp/apps.log"]
    start_position => "beginning"
    sincedb_path => "/var/lib/logstash/sincedb-demo-app"
  }
}

说明:

  • start_position => "beginning" 主要用于从未读取过的文件。
  • 文件读取位置由 sincedb 保存。
  • 修改 sincedb_path 会生成独立读取状态。
  • 删除 sincedb 可能导致重复读取,不应作为常规更新配置的方法。

14.2 拆分字段

filter {
  mutate {
    split => {
      "message" => "|"
    }

    add_field => {
      "other" => "%{[message][0]}"
      "userId" => "%{[message][1]}"
      "action" => "%{[message][2]}"
      "vip" => "%{[message][3]}"
      "price" => "%{[message][4]}"
    }
  }

  mutate {
    split => {
      "other" => " "
    }

    add_field => {
      "datetime" => "%{[other][1]} %{[other][2]}"
    }

    remove_field => ["message", "other", "@version"]
  }

  mutate {
    convert => {
      "price" => "float"
      "userId" => "integer"
    }
  }
}

简化后的字段结果:

字段类型含义
userIdinteger用户编号
actionstring用户行为
vipstring 或 integerVIP 标记
pricefloat金额
datetimestring日志中的时间
@timestampdateLogstash 事件时间

生产环境更推荐:

  • 使用 dissect 处理稳定的分隔格式。
  • 使用 grok 处理带可选项的非固定文本。
  • 使用 date 插件把业务时间写入正确的日期字段。
  • 字段名遵循 ECS,避免把业务字段与保留字段冲突。

14.3 时间解析

如果需要用日志时间替换事件时间,可增加:

date {
  match => ["datetime", "yyyy-MM-dd HH:mm:ss"]
  target => "@timestamp"
}

时区应明确指定,例如:

date {
  match => ["datetime", "yyyy-MM-dd HH:mm:ss"]
  timezone => "Asia/Shanghai"
  target => "@timestamp"
}

14.4 输出到 Elasticsearch

output {
  elasticsearch {
    hosts => [
      "http://192.0.2.11:9200",
      "http://192.0.2.12:9200",
      "http://192.0.2.13:9200"
    ]
    index => "demo-business-%{+YYYY.MM.dd}"
  }
}

完整配置文件名:/etc/logstash/config/02-file-to-es.conf

测试:

logstash -f /etc/logstash/config/02-file-to-es.conf \
  --config.test_and_exit
logstash -r -f /etc/logstash/config/02-file-to-es.conf

验证:

GET http://192.0.2.11:9200/_cat/indices/demo-business-*?v
GET http://192.0.2.11:9200/demo-business-*/_search?pretty&size=3

15. Filebeat 输出到 Logstash

15.1 Logstash Beats 输入

input {
  beats {
    port => 5044
  }
}

filter {
  # 在这里解析、转换和补充字段
}

output {
  elasticsearch {
    hosts => ["http://192.0.2.11:9200"]
    index => "demo-elk-%{+YYYY.MM.dd}"
  }
}

15.2 Filebeat 输出

filebeat.inputs:
  - type: filestream
    id: demo-nginx-to-logstash
    paths:
      - /var/log/nginx/access.log

output.logstash:
  hosts:
    - "192.0.2.13:5044"

验证端口:

sudo ss -ntlp | grep ':5044'

示例未启用 TLS 和认证,仅适合隔离的实验网络。生产环境应配置证书、访问控制和防火墙。

16. Logstash 多实例与 Pipeline

16.1 配置拆分

复杂系统可按职责拆分:

/etc/logstash/pipelines/nginx.conf
/etc/logstash/pipelines/tomcat.conf
/etc/logstash/pipelines/business.conf

每个配置都应明确自己的:

  • Input。
  • 唯一 pipeline.id。
  • Filter 条件。
  • Output 索引或消息队列。

16.2 多进程实例

多个 Logstash 进程应使用独立数据目录:

sudo install -d -o logstash -g logstash /var/lib/logstash-nginx
sudo install -d -o logstash -g logstash /var/lib/logstash-tomcat

分别指定:

--path.data /var/lib/logstash-nginx
--path.data /var/lib/logstash-tomcat

还要避免:

  • 多个实例监听同一端口。
  • 多个 Pipeline 读取同一输入却重复写出。
  • 输出条件重叠,导致同一事件写入多个非预期索引。
  • 共用锁文件或临时目录。

16.3 条件路由示例

output {
  if [service] == "nginx" {
    elasticsearch {
      hosts => ["http://192.0.2.11:9200"]
      index => "demo-nginx-%{+YYYY.MM.dd}"
    }
  } else if [service] == "tomcat" {
    elasticsearch {
      hosts => ["http://192.0.2.11:9200"]
      index => "demo-tomcat-%{+YYYY.MM.dd}"
    }
  }
}

17. 综合验证

17.1 Filebeat

sudo filebeat test config -c /etc/filebeat/config/demo.yml
sudo filebeat test output -c /etc/filebeat/config/demo.yml
sudo systemctl status filebeat
sudo journalctl -u filebeat -f
ps -ef | grep '[f]ilebeat'

17.2 Logstash

sudo systemctl status logstash
sudo journalctl -u logstash -f
sudo ss -ntlp | grep -E ':(5044|9600)\b'
curl -s http://127.0.0.1:9600/

17.3 Elasticsearch

GET http://192.0.2.11:9200/_cluster/health?pretty
GET http://192.0.2.11:9200/_cat/indices?v
GET http://192.0.2.11:9200/_nodes/stats/jvm?human
GET http://192.0.2.11:9200/demo-nginx-json/_search?pretty&size=3

17.4 常见问题

现象可能原因排查方向
filestream 启动失败缺少唯一 id为每个输入设置稳定 ID
JSON 解析失败一个对象跨多行应用输出单行 JSON,或先合并多行
异常堆栈被拆开多行正则不匹配用真实日志校验 pattern
模块无数据模块未启用或路径错误检查 modules.d 和 var.paths
地图没有点坐标字段不是 geo_point修正模板并重建索引
设备类型字段缺失User-Agent 未解析检查模块或 Ingest Pipeline
Filebeat 不重复采集偏移已记录追加新日志或使用独立数据目录
Logstash 文件无数据sincedb 已记录位置检查 sincedb_path 和文件变化
Logstash 输出错误索引条件或索引变量错误检查字段与 %{+YYYY.MM.dd}
ES 反复 GC堆设置、查询或分片不合理查看 JVM、OS、FS 与慢日志

18. 综合练习

  1. 使用 filestream + ndjson 采集 Nginx JSON 访问日志。
  2. 使用 multiline 合并 Tomcat 异常堆栈。
  3. 为 Filebeat 输入设置稳定且唯一的 id。
  4. 启用 Nginx 和 Tomcat 模块并查看模块配置。
  5. 在 Kibana 中制作用户地理分布图。
  6. 制作操作系统、浏览器和设备类型分布图。
  7. 排查一个 geo_point 映射错误案例。
  8. 为 Elasticsearch 配置经过计算的 JVM 堆参数。
  9. 使用 Logstash 采集文件日志并拆分为结构化字段。
  10. 将业务日志写入 Elasticsearch,并在 Kibana 中验证。
  11. 搭建 Filebeat → Logstash → Elasticsearch → Kibana 链路。
  12. 创建两个互不影响的 Logstash Pipeline。

19. 面试与一页复习

19.1 EFK 与 ELFK 的区别

  • EFK:Filebeat → Elasticsearch → Kibana,链路简单、资源占用较低。
  • ELFK:Filebeat → Logstash → Elasticsearch → Kibana,适合复杂解析、转换和路由。
  • Filebeat 负责边缘采集,Logstash 负责集中处理。

19.2 常见指标

  • IP 数:对客户端 IP 做 Cardinality 聚合。
  • PV:对请求日志做 Count。
  • UV:独立访问用户,需要明确的用户识别规则;仅按 IP 去重不等于真实 UV。
  • 带宽:对响应字节数做 Sum。
  • 用户分布:基于可信 IP 地理数据库或脱敏坐标数据。
  • 设备分布:基于解析后的 User-Agent 字段。

19.3 核心检查

  • filestream 必须有稳定唯一的 id。
  • 一行一个 JSON 时直接使用 ndjson,多行 JSON 需先可靠合并。
  • Java 堆栈要按真实行首规则进行多行匹配。
  • Filebeat 模块与手工输入不能重复采集同一文件。
  • geo_point 映射错误通常需要新建索引重新写入。
  • JVM 堆参数应成对配置,并为文件缓存保留内存。
  • Logstash 的文件读取位置由 sincedb 保存。
  • Logstash 多实例需要独立数据目录、端口和 Pipeline 标识。
  • 排查链路应覆盖数据源、Filebeat、Logstash、Elasticsearch 和 Kibana。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!