1
0

Prometheus 多组件监控与 Grafana 模板

2026-11-02
Prometheus 多组件监控与 Grafana 模板

Prometheus 多组件监控与 Grafana 模板

1. 多组件监控流程

目标服务
Exporter / Metrics Endpoint
Prometheus
Grafana
Alertmanager

标准接入流程:

  1. 选择官方或可信的 Exporter。
  2. 使用最小权限账号连接目标服务。
  3. 启动 Exporter 并访问 /metrics 验证输出。
  4. 在 Prometheus 中配置 job_name、metrics_path 和 Target。
  5. 使用 promtool 校验配置。
  6. 热加载或重启 Prometheus。
  7. 在 Targets 页面确认状态为 UP。
  8. 在 Graph 页面查询关键指标。
  9. 导入或创建 Grafana Dashboard。
  10. 配置告警规则和通知链路。

2. 常用 Exporter

服务Exporter 或指标入口默认或示例端口
ZooKeeper内置 Prometheus Metrics Provider7000
Elasticsearchelasticsearch_exporter9114
Kafkakafka_exporter9308
JenkinsJenkins Prometheus PluginJenkins 的 HTTP 端口
MySQLmysqld_exporter9104
Redisredis_exporter9121
NginxVTS 指标端点或 nginx-vts-exporter80 / 9913
TomcatJava/Tomcat Metrics 应用示例 18080
Linuxnode_exporter9100
Windowswindows_exporter9182

端口只作示例,实际配置以部署参数为准。

3. Prometheus 配置结构

推荐为每个服务建立独立 Job:

scrape_configs:
  - job_name: zookeeper
    static_configs:
      - targets:
          - 192.0.2.11:7000
          - 192.0.2.12:7000
          - 192.0.2.13:7000
        labels:
          service: zookeeper
          environment: demo

公共原则:

  • job_name 保持稳定且可读。
  • metrics_path 必须与真实指标入口一致。
  • HTTP 与 HTTPS 必须明确选择。
  • 凭据通过安全配置注入,不直接写在 URL 中。
  • 使用 labels 区分环境和集群。
  • 修改后执行 promtool check config。

4. 监控 ZooKeeper

4.1 启用内置 Metrics Provider

在 ZooKeeper 的 zoo.cfg 中增加:

metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpHost=0.0.0.0
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true

重启:

sudo systemctl restart zookeeper

验证:

curl -s http://192.0.2.11:7000/metrics | head

0.0.0.0 会监听所有网卡,只适合受控内网。生产环境应通过防火墙只允许 Prometheus Server 访问 7000。

4.2 Prometheus Job

scrape_configs:
  - job_name: zookeeper
    metrics_path: /metrics
    static_configs:
      - targets:
          - 192.0.2.11:7000
          - 192.0.2.12:7000
          - 192.0.2.13:7000
        labels:
          service: zookeeper

重点指标:

  • Leader 和 Follower 数量。
  • 客户端连接数。
  • Watch 数量。
  • znode 数量。
  • 请求延迟与请求量。
  • JVM Heap、GC 和线程。

4.3 检查集群角色

如果允许 srvr 四字命令:

printf 'srvr\n' | nc 192.0.2.11 2181

四字命令应只允许规范中明确需要的命令,并限制来源,不要使用 4lw.commands.whitelist=*。

5. 监控 Elasticsearch

5.1 下载与安装

wget "https://github.com/prometheus-community/elasticsearch_exporter/releases/download/v${ES_EXPORTER_VERSION}/elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64.tar.gz"

tar xf "elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64.tar.gz"

sudo install -d /opt/elasticsearch_exporter
sudo install -m 0755 \
  "elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64/elasticsearch_exporter" \
  /opt/elasticsearch_exporter/elasticsearch_exporter

下载后应验证发布包校验值和来源。

5.2 安全连接 Elasticsearch

不要使用以下方式:

  • 在命令行中直接写用户名和密码。
  • 使用简单或弱密码。
  • 使用 elastic 超级管理员作为 Exporter 账号。
  • 为远程 HTTPS 关闭证书校验。

推荐创建只读监控账号,授予最小权限,并通过受控环境文件或密钥系统注入 URI:

# /etc/elasticsearch-exporter.env
# 权限:root:elasticsearch-exporter 0640
ES_URI=https://monitor-user:REPLACE_BY_SECRET@192.0.2.11:9200

systemd:

[Service]
User=elasticsearch-exporter
Group=elasticsearch-exporter
EnvironmentFile=/etc/elasticsearch-exporter.env
ExecStart=/opt/elasticsearch_exporter/elasticsearch_exporter \
  --es.uri=${ES_URI} \
  --es.timeout=10s \
  --web.listen-address=127.0.0.1:9114

注意:

  • 受控环境文件中的 URI 可能仍出现在进程参数中。
  • 高安全环境应使用支持文件凭据或代理认证的版本/组件。
  • 使用 HTTPS 时,应配置可信 CA,不要使用跳过验证参数。

5.3 验证

curl -s http://127.0.0.1:9114/metrics | head

5.4 Prometheus Job

scrape_configs:
  - job_name: elasticsearch
    static_configs:
      - targets:
          - 192.0.2.11:9114
        labels:
          service: elasticsearch

重点指标:

  • 集群颜色。
  • 节点数量。
  • 主分片、副本分片和未分配分片。
  • JVM Heap 与 GC。
  • 索引数量、文档数量和存储大小。
  • 查询与写入延迟。

只采集集群级指标时,不要无必要地启用所有高成本 Collector。需要索引和分片详细指标时,应评估 API 压力。

6. 监控 Kafka

6.1 下载与安装

wget "https://github.com/danielqsj/kafka_exporter/releases/download/v${KAFKA_EXPORTER_VERSION}/kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64.tar.gz"

tar xf "kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64.tar.gz"

sudo install -d /opt/kafka_exporter
sudo install -m 0755 \
  "kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64/kafka_exporter" \
  /opt/kafka_exporter/kafka_exporter

6.2 启动

实验环境:

/opt/kafka_exporter/kafka_exporter \
  --web.listen-address=127.0.0.1:9308 \
  --web.telemetry-path=/metrics \
  --kafka.server=192.0.2.13:9092

不要把 Kafka 监控端口直接暴露给公网。生产环境应使用 SASL/TLS 或受控代理,并配置专用只读监控身份。

6.3 Prometheus Job

scrape_configs:
  - job_name: kafka
    static_configs:
      - targets:
          - 192.0.2.11:9308
        labels:
          service: kafka

重点指标:

  • Broker 在线状态。
  • 分区 Leader 与副本状态。
  • Under-replicated Partitions。
  • Offline Partitions。
  • Consumer Group Lag。
  • Topic 消息生产和消费速率。

Topic 和 Consumer Group 数量较多时,应设置过滤范围,避免产生大量序列和查询压力。

7. 监控 Jenkins

7.1 启用 Prometheus Plugin

在 Jenkins 插件管理中安装 Prometheus Metrics Plugin,并重启 Jenkins。

验证:

http://192.0.2.211:8080/prometheus/

如果插件安装失败,应检查 Jenkins 更新中心、版本兼容性、网络代理和插件依赖。不要从不可信来源直接复制插件包。

7.2 Prometheus Job

scrape_configs:
  - job_name: jenkins
    metrics_path: /prometheus/
    static_configs:
      - targets:
          - 192.0.2.211:8080
        labels:
          service: jenkins

重点指标:

  • Jenkins 和节点在线状态。
  • Executor 数量与忙碌程度。
  • 队列长度。
  • Job 成功、失败和耗时。
  • HTTP 请求指标。

Jenkins 指标可能包含 Job、节点和分支名称。开放访问前应检查标签基数与敏感信息。

8. 监控 MySQL

8.1 安全部署测试实例

不要允许空 root 密码,也不要把数据库端口直接公开。使用环境文件保存密码:

docker run --name mysql-monitor-demo -d \
  --env-file /etc/mysql-monitor.env \
  --network host \
  --restart unless-stopped \
  "${MYSQL_IMAGE}"

环境文件应限制为 0600,至少包含强随机 root 密码。生产环境应使用数据库高可用和 TLS。

8.2 创建最小权限监控用户

示意 SQL:

CREATE USER 'mysql_exporter'@'192.0.2.%' IDENTIFIED BY '<STRONG_RANDOM_PASSWORD>';
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'mysql_exporter'@'192.0.2.%';
FLUSH PRIVILEGES;

实际授权应进一步收缩监听网络和数据库范围,并遵循数据库版本的权限文档。

8.3 配置认证文件

[client]
host=192.0.2.211
port=3306
user=mysql_exporter
password=REPLACE_BY_SECRET

文件权限:

sudo chown root:mysql-exporter /etc/mysqld_exporter/.my.cnf
sudo chmod 640 /etc/mysqld_exporter/.my.cnf

8.4 启动 mysqld_exporter

/opt/mysqld_exporter/mysqld_exporter \
  --mysqld.address=192.0.2.211:3306 \
  --web.listen-address=127.0.0.1:9104 \
  --config.my-cnf=/etc/mysqld_exporter/.my.cnf

验证:

curl -s http://127.0.0.1:9104/metrics | head

8.5 Prometheus Job

scrape_configs:
  - job_name: mysql
    static_configs:
      - targets:
          - 192.0.2.211:9104
        labels:
          service: mysql

重点指标:

  • MySQL 是否可连接。
  • QPS、连接数和线程状态。
  • 慢查询数量。
  • InnoDB Buffer Pool。
  • 锁等待和死锁。
  • 主从复制状态与延迟。

9. 监控 Redis

9.1 启动 Redis

实验环境可把端口限制在本机或受控网段:

docker run -d \
  --name redis-monitor-demo \
  --restart unless-stopped \
  --network host \
  "${REDIS_IMAGE}"

生产环境应开启:

  • 密码或 ACL。
  • TLS。
  • 受控监听地址。
  • 最小权限监控用户。

9.2 启动 redis_exporter

不要让密码出现在 Shell 历史中。可将凭据放入权限受限的 systemd 环境文件:

# /etc/redis_exporter.env
# 权限建议:root:redis-exporter 0640
REDIS_ADDR=redis://192.0.2.211:6379
REDIS_USER=monitor
REDIS_PASSWORD=REPLACE_BY_SECRET
[Service]
User=redis-exporter
Group=redis-exporter
EnvironmentFile=/etc/redis_exporter.env
ExecStart=/opt/redis_exporter/redis_exporter \
  -web.listen-address=127.0.0.1:9121 \
  -web.telemetry-path=/metrics

Redis Exporter 可读取 REDIS_ADDR、REDIS_USER 和 REDIS_PASSWORD 环境变量。也可使用 REDIS_PASSWORD_FILE 或 -redis.password-file,具体格式应以当前 Exporter 版本帮助信息为准:

redis_exporter --help

9.3 Prometheus Job

scrape_configs:
  - job_name: redis
    static_configs:
      - targets:
          - 192.0.2.211:9121
        labels:
          service: redis

重点指标:

  • Redis 可用状态。
  • 内存使用量。
  • 连接客户端数量。
  • 命令速率。
  • 命中率。
  • Key 数量。
  • 持久化、主从复制和延迟。

10. 监控 Nginx

10.1 选择指标方案

常见方案:

  1. ngx_http_stub_status_module:只提供连接、请求等基础指标。
  2. nginx-module-vts:提供虚拟主机、上游、状态码等详细指标。
  3. nginx-vts-exporter:读取 VTS JSON 并转换为 Prometheus 指标。

VTS 本身可以直接输出 Prometheus 格式。若 Prometheus 已直接抓取 VTS,再抓取 VTS Exporter 可能造成同一指标重复采集。应根据 Dashboard 使用的指标名称选择一种方案。

10.2 安装 VTS 模块

应使用固定版本、可信来源的模块:

git clone --depth 1 --branch "${VTS_VERSION}" \
  https://github.com/vozlt/nginx-module-vts.git

10.3 编译 Nginx

./configure \
  --prefix=/opt/nginx \
  --with-http_ssl_module \
  --with-http_stub_status_module \
  --with-http_realip_module \
  --with-stream \
  --add-module=/path/to/nginx-module-vts

make -j2
sudo make install

第三方模块会增加升级和维护成本,生产环境应进行回归测试。

10.4 配置 VTS

在 Nginx 的 http 配置块中:

vhost_traffic_status_zone;

在受保护的 server 中:

location /status {
    allow 192.0.2.31;
    deny all;

    vhost_traffic_status_display;
}

验证:

/opt/nginx/sbin/nginx -t
curl -s http://192.0.2.211/status/format/prometheus | head

状态页面必须限制来源,不能直接公开。

10.5 方案一:Prometheus 直接抓取 VTS

scrape_configs:
  - job_name: nginx-vts
    metrics_path: /status/format/prometheus
    static_configs:
      - targets:
          - 192.0.2.211:80
        labels:
          service: nginx

10.6 方案二:通过 VTS Exporter

启动:

/opt/nginx-vts-exporter/nginx-vts-exporter \
  -nginx.scrape_uri=http://192.0.2.211/status/format/json

Prometheus:

scrape_configs:
  - job_name: nginx-vts-exporter
    static_configs:
      - targets:
          - 192.0.2.211:9913
        labels:
          service: nginx

重点指标:

  • 请求总数和请求速率。
  • 各状态码数量。
  • 活跃连接、读写连接。
  • 上游请求与失败。
  • 响应字节数。
  • 各虚拟主机的访问分布。

11. 监控 Tomcat

11.1 构建 Metrics 应用

可选择可信的 Tomcat Metrics WAR 或在本组织仓库中构建镜像:

git clone "${TOMCAT_EXPORTER_REPOSITORY}"
cd tomcat-exporter
docker build -t tomcat-monitor-demo:local .

要求:

  • 固定依赖和基础镜像版本。
  • 核实 WAR 来源和许可证。
  • 镜像使用非 root 用户。
  • 不把镜像发布到未知公共仓库。

11.2 启动

docker run -d \
  --name tomcat-monitor-demo \
  -p 127.0.0.1:18080:8080 \
  tomcat-monitor-demo:local

验证:

curl -s http://127.0.0.1:18080/metrics/ | head

11.3 Prometheus Job

scrape_configs:
  - job_name: tomcat
    metrics_path: /metrics
    static_configs:
      - targets:
          - 192.0.2.211:18080
        labels:
          service: tomcat

若 Metrics Servlet 实际路径为 /metrics/,以 /metrics 通常可兼容跳转或访问,但应以实际测试结果为准。

重点指标:

  • JVM Heap 与 GC。
  • 线程和线程池。
  • 请求数量、耗时和错误。
  • Servlet 活跃会话。
  • JDBC 连接池。

12. Grafana Dashboard 模板

原始资料中提到的社区 Dashboard ID 可作为查找线索:

服务资料中的 Dashboard ID
ZooKeeper10465
Elasticsearch14191
Kafka12460
Jenkins9964、9524、12646
MySQL18949、17320、14057
Redis763、14091
Nginx2949

注意:

  • 社区模板可能更新、下架或仅适配特定指标版本。
  • 导入前检查作者、查询语句和数据源。
  • 不要把包含密码或 Token 的 Dashboard JSON 直接分享。
  • 导入后检查 Panel 是否无数据、单位是否正确、变量是否匹配。
  • 不为了兼容旧模板而降低 Grafana 安全版本。

13. Grafana 插件安装

13.1 在线安装

较新版本推荐:

sudo grafana cli plugins install <PLUGIN_ID>
sudo systemctl restart grafana-server

较旧版本可能使用:

sudo grafana-cli plugins install <PLUGIN_ID>

安装前应核对:

  • 插件 ID 与报错名称一致。
  • 插件是否支持当前 Grafana 版本。
  • 插件是否已签名、由可信作者发布。
  • 是否确实需要安装,是否有官方内置替代面板。

13.2 离线安装

unzip <PLUGIN_PACKAGE>.zip -d /var/lib/grafana/plugins/
sudo chown -R grafana:grafana /var/lib/grafana/plugins/<PLUGIN_ID>
sudo systemctl restart grafana-server

离线安装也必须验证发布包来源与校验值。

13.3 插件兼容性

如果 Dashboard 报:

Panel plugin not found: <PLUGIN_ID>

按顺序检查:

  1. 插件是否安装成功。
  2. Grafana 是否重启。
  3. 插件目录和属主是否正确。
  4. 插件是否支持当前 Grafana 版本。
  5. 是否触发签名或兼容性限制。

不要通过允许加载所有未签名插件来强行绕过安全检查。优先升级插件、替换面板或使用受支持版本。

14. 服务发现

14.1 文件服务发现

适合由外部系统生成 Target 文件:

scrape_configs:
  - job_name: file-discovery
    file_sd_configs:
      - files:
          - /etc/prometheus/targets/nodes/*.yml
        refresh_interval: 30s

Target 文件:

- targets:
    - 192.0.2.41:9100
    - 192.0.2.42:9100
  labels:
    service: linux
    environment: demo

修改文件后由 Prometheus 自动刷新,不一定要重载主配置。

14.2 Consul 服务发现

示意:

scrape_configs:
  - job_name: consul-nodes
    consul_sd_configs:
      - server: 192.0.2.10:8500
        services:
          - node-exporter

Consul 应启用 ACL,Prometheus 只获得读取所需服务的权限。

15. 安全建议

15.1 Exporter 暴露面

  • Exporter 只监听管理网或本机地址。
  • 防火墙只允许 Prometheus Server 访问。
  • 不把 /metrics 直接暴露到公网。
  • 对所有指标接口启用 TLS 或通过受控反向代理。

15.2 凭据

  • 使用专用只读账号。
  • 使用密码文件、Secret、系统 Keystore 或 Vault。
  • 不把密码写入命令行、YAML、Dashboard 和 Git。
  • 定期轮换密码与 Token。
  • 不在日志中输出完整 URI 或认证头。

15.3 Grafana

  • 修改默认管理员密码。
  • 禁止匿名访问。
  • 使用最小权限角色。
  • 审核第三方插件和 Community Dashboard。
  • 使用 HTTPS。
  • 定期备份数据库、Dashboard JSON 和 Provisioning。

16. 常见故障

现象可能原因排查方向
Target 为 DOWNExporter 未启动检查进程、端口和 systemd
连接拒绝监听地址错误查看 ss -ntlp 和启动参数
401/403监控账号权限或密码错误检查认证和最小权限授权
TLS 失败CA、主机名或证书链错误不要使用跳过校验参数
Metrics 为空路径错误或 Collector 未启用直接 curl 指标端点
Grafana 图表无数据指标名与 Dashboard 不匹配检查模板版本和实际 metric
Dashboard 插件缺失插件未安装或不兼容使用受支持版本或替代面板
指标重复同时抓取直接端点和 Exporter选择一种采集路径
序列过多Topic、Job 或 URL 标签基数高缩小过滤范围并优化标签
告警未发送Prometheus 规则或 Alertmanager 未配置检查规则、路由和通知

17. 综合

  1. 启用 ZooKeeper 内置 Metrics Provider 并接入 Prometheus。
  2. 使用只读账号接入 Elasticsearch Exporter。
  3. 监控 Kafka Broker、Topic、Consumer Group 和 Lag。
  4. 启用 Jenkins Prometheus Plugin。
  5. 创建最小权限 MySQL 监控用户并接入 Exporter。
  6. 使用密码文件接入 Redis Exporter。
  7. 配置 Nginx VTS 指标端点并限制访问来源。
  8. 分别测试 Prometheus 直接抓取 VTS 和通过 VTS Exporter 抓取。
  9. 构建并运行 Tomcat Metrics 应用。
  10. 为每个服务建立独立 Prometheus Job。
  11. 导入兼容的 Grafana Dashboard 并修复无数据面板。
  12. 使用文件服务发现自动加载 Target。
  13. 使用 Consul ACL 接入服务发现。
  14. 为所有 Exporter 设计访问控制与凭据管理方案。

18. 总结

  • Exporter 负责把服务指标转换为 Prometheus 可抓取格式。
  • 每个服务应有独立、稳定的 Prometheus Job。
  • 配置后先 promtool check config,再 reload。
  • ZooKeeper 可通过内置 Provider 暴露 Prometheus 指标。
  • Elasticsearch、MySQL、Redis 监控应使用最小权限专用账号。
  • Kafka 监控重点包括 Broker、分区、ISR 和 Consumer Lag。
  • Jenkins 指标可能包含 Job 和节点名称,需控制访问。
  • Nginx VTS 可直接输出 Prometheus 指标,Exporter 不是必需。
  • 同时抓取 VTS 和 VTS Exporter 可能产生重复指标。
  • Grafana Dashboard ID 只是线索,必须核对指标版本和查询安全。
  • Grafana 插件必须验证来源、签名和版本兼容性。
  • 文件服务发现适合外部系统动态生成 Target 文件。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!