Prometheus 多组件监控与 Grafana 模板
Prometheus 多组件监控与 Grafana 模板
1. 多组件监控流程
标准接入流程:
- 选择官方或可信的 Exporter。
- 使用最小权限账号连接目标服务。
- 启动 Exporter 并访问
/metrics验证输出。 - 在 Prometheus 中配置
job_name、metrics_path和 Target。 - 使用
promtool校验配置。 - 热加载或重启 Prometheus。
- 在 Targets 页面确认状态为 UP。
- 在 Graph 页面查询关键指标。
- 导入或创建 Grafana Dashboard。
- 配置告警规则和通知链路。
2. 常用 Exporter
| 服务 | Exporter 或指标入口 | 默认或示例端口 |
|---|---|---|
| ZooKeeper | 内置 Prometheus Metrics Provider | 7000 |
| Elasticsearch | elasticsearch_exporter | 9114 |
| Kafka | kafka_exporter | 9308 |
| Jenkins | Jenkins Prometheus Plugin | Jenkins 的 HTTP 端口 |
| MySQL | mysqld_exporter | 9104 |
| Redis | redis_exporter | 9121 |
| Nginx | VTS 指标端点或 nginx-vts-exporter | 80 / 9913 |
| Tomcat | Java/Tomcat Metrics 应用 | 示例 18080 |
| Linux | node_exporter | 9100 |
| Windows | windows_exporter | 9182 |
端口只作示例,实际配置以部署参数为准。
3. Prometheus 配置结构
推荐为每个服务建立独立 Job:
scrape_configs:
- job_name: zookeeper
static_configs:
- targets:
- 192.0.2.11:7000
- 192.0.2.12:7000
- 192.0.2.13:7000
labels:
service: zookeeper
environment: demo
公共原则:
job_name保持稳定且可读。metrics_path必须与真实指标入口一致。- HTTP 与 HTTPS 必须明确选择。
- 凭据通过安全配置注入,不直接写在 URL 中。
- 使用
labels区分环境和集群。 - 修改后执行
promtool check config。
4. 监控 ZooKeeper
4.1 启用内置 Metrics Provider
在 ZooKeeper 的 zoo.cfg 中增加:
metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
metricsProvider.httpHost=0.0.0.0
metricsProvider.httpPort=7000
metricsProvider.exportJvmInfo=true
重启:
sudo systemctl restart zookeeper
验证:
curl -s http://192.0.2.11:7000/metrics | head
0.0.0.0 会监听所有网卡,只适合受控内网。生产环境应通过防火墙只允许 Prometheus Server 访问 7000。
4.2 Prometheus Job
scrape_configs:
- job_name: zookeeper
metrics_path: /metrics
static_configs:
- targets:
- 192.0.2.11:7000
- 192.0.2.12:7000
- 192.0.2.13:7000
labels:
service: zookeeper
重点指标:
- Leader 和 Follower 数量。
- 客户端连接数。
- Watch 数量。
- znode 数量。
- 请求延迟与请求量。
- JVM Heap、GC 和线程。
4.3 检查集群角色
如果允许 srvr 四字命令:
printf 'srvr\n' | nc 192.0.2.11 2181
四字命令应只允许规范中明确需要的命令,并限制来源,不要使用 4lw.commands.whitelist=*。
5. 监控 Elasticsearch
5.1 下载与安装
wget "https://github.com/prometheus-community/elasticsearch_exporter/releases/download/v${ES_EXPORTER_VERSION}/elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64.tar.gz"
tar xf "elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64.tar.gz"
sudo install -d /opt/elasticsearch_exporter
sudo install -m 0755 \
"elasticsearch_exporter-${ES_EXPORTER_VERSION}.linux-amd64/elasticsearch_exporter" \
/opt/elasticsearch_exporter/elasticsearch_exporter
下载后应验证发布包校验值和来源。
5.2 安全连接 Elasticsearch
不要使用以下方式:
- 在命令行中直接写用户名和密码。
- 使用简单或弱密码。
- 使用
elastic超级管理员作为 Exporter 账号。 - 为远程 HTTPS 关闭证书校验。
推荐创建只读监控账号,授予最小权限,并通过受控环境文件或密钥系统注入 URI:
# /etc/elasticsearch-exporter.env
# 权限:root:elasticsearch-exporter 0640
ES_URI=https://monitor-user:REPLACE_BY_SECRET@192.0.2.11:9200
systemd:
[Service]
User=elasticsearch-exporter
Group=elasticsearch-exporter
EnvironmentFile=/etc/elasticsearch-exporter.env
ExecStart=/opt/elasticsearch_exporter/elasticsearch_exporter \
--es.uri=${ES_URI} \
--es.timeout=10s \
--web.listen-address=127.0.0.1:9114
注意:
- 受控环境文件中的 URI 可能仍出现在进程参数中。
- 高安全环境应使用支持文件凭据或代理认证的版本/组件。
- 使用 HTTPS 时,应配置可信 CA,不要使用跳过验证参数。
5.3 验证
curl -s http://127.0.0.1:9114/metrics | head
5.4 Prometheus Job
scrape_configs:
- job_name: elasticsearch
static_configs:
- targets:
- 192.0.2.11:9114
labels:
service: elasticsearch
重点指标:
- 集群颜色。
- 节点数量。
- 主分片、副本分片和未分配分片。
- JVM Heap 与 GC。
- 索引数量、文档数量和存储大小。
- 查询与写入延迟。
只采集集群级指标时,不要无必要地启用所有高成本 Collector。需要索引和分片详细指标时,应评估 API 压力。
6. 监控 Kafka
6.1 下载与安装
wget "https://github.com/danielqsj/kafka_exporter/releases/download/v${KAFKA_EXPORTER_VERSION}/kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64.tar.gz"
tar xf "kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64.tar.gz"
sudo install -d /opt/kafka_exporter
sudo install -m 0755 \
"kafka_exporter-${KAFKA_EXPORTER_VERSION}.linux-amd64/kafka_exporter" \
/opt/kafka_exporter/kafka_exporter
6.2 启动
实验环境:
/opt/kafka_exporter/kafka_exporter \
--web.listen-address=127.0.0.1:9308 \
--web.telemetry-path=/metrics \
--kafka.server=192.0.2.13:9092
不要把 Kafka 监控端口直接暴露给公网。生产环境应使用 SASL/TLS 或受控代理,并配置专用只读监控身份。
6.3 Prometheus Job
scrape_configs:
- job_name: kafka
static_configs:
- targets:
- 192.0.2.11:9308
labels:
service: kafka
重点指标:
- Broker 在线状态。
- 分区 Leader 与副本状态。
- Under-replicated Partitions。
- Offline Partitions。
- Consumer Group Lag。
- Topic 消息生产和消费速率。
Topic 和 Consumer Group 数量较多时,应设置过滤范围,避免产生大量序列和查询压力。
7. 监控 Jenkins
7.1 启用 Prometheus Plugin
在 Jenkins 插件管理中安装 Prometheus Metrics Plugin,并重启 Jenkins。
验证:
http://192.0.2.211:8080/prometheus/
如果插件安装失败,应检查 Jenkins 更新中心、版本兼容性、网络代理和插件依赖。不要从不可信来源直接复制插件包。
7.2 Prometheus Job
scrape_configs:
- job_name: jenkins
metrics_path: /prometheus/
static_configs:
- targets:
- 192.0.2.211:8080
labels:
service: jenkins
重点指标:
- Jenkins 和节点在线状态。
- Executor 数量与忙碌程度。
- 队列长度。
- Job 成功、失败和耗时。
- HTTP 请求指标。
Jenkins 指标可能包含 Job、节点和分支名称。开放访问前应检查标签基数与敏感信息。
8. 监控 MySQL
8.1 安全部署测试实例
不要允许空 root 密码,也不要把数据库端口直接公开。使用环境文件保存密码:
docker run --name mysql-monitor-demo -d \
--env-file /etc/mysql-monitor.env \
--network host \
--restart unless-stopped \
"${MYSQL_IMAGE}"
环境文件应限制为 0600,至少包含强随机 root 密码。生产环境应使用数据库高可用和 TLS。
8.2 创建最小权限监控用户
示意 SQL:
CREATE USER 'mysql_exporter'@'192.0.2.%' IDENTIFIED BY '<STRONG_RANDOM_PASSWORD>';
GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO 'mysql_exporter'@'192.0.2.%';
FLUSH PRIVILEGES;
实际授权应进一步收缩监听网络和数据库范围,并遵循数据库版本的权限文档。
8.3 配置认证文件
[client]
host=192.0.2.211
port=3306
user=mysql_exporter
password=REPLACE_BY_SECRET
文件权限:
sudo chown root:mysql-exporter /etc/mysqld_exporter/.my.cnf
sudo chmod 640 /etc/mysqld_exporter/.my.cnf
8.4 启动 mysqld_exporter
/opt/mysqld_exporter/mysqld_exporter \
--mysqld.address=192.0.2.211:3306 \
--web.listen-address=127.0.0.1:9104 \
--config.my-cnf=/etc/mysqld_exporter/.my.cnf
验证:
curl -s http://127.0.0.1:9104/metrics | head
8.5 Prometheus Job
scrape_configs:
- job_name: mysql
static_configs:
- targets:
- 192.0.2.211:9104
labels:
service: mysql
重点指标:
- MySQL 是否可连接。
- QPS、连接数和线程状态。
- 慢查询数量。
- InnoDB Buffer Pool。
- 锁等待和死锁。
- 主从复制状态与延迟。
9. 监控 Redis
9.1 启动 Redis
实验环境可把端口限制在本机或受控网段:
docker run -d \
--name redis-monitor-demo \
--restart unless-stopped \
--network host \
"${REDIS_IMAGE}"
生产环境应开启:
- 密码或 ACL。
- TLS。
- 受控监听地址。
- 最小权限监控用户。
9.2 启动 redis_exporter
不要让密码出现在 Shell 历史中。可将凭据放入权限受限的 systemd 环境文件:
# /etc/redis_exporter.env
# 权限建议:root:redis-exporter 0640
REDIS_ADDR=redis://192.0.2.211:6379
REDIS_USER=monitor
REDIS_PASSWORD=REPLACE_BY_SECRET
[Service]
User=redis-exporter
Group=redis-exporter
EnvironmentFile=/etc/redis_exporter.env
ExecStart=/opt/redis_exporter/redis_exporter \
-web.listen-address=127.0.0.1:9121 \
-web.telemetry-path=/metrics
Redis Exporter 可读取 REDIS_ADDR、REDIS_USER 和 REDIS_PASSWORD 环境变量。也可使用 REDIS_PASSWORD_FILE 或 -redis.password-file,具体格式应以当前 Exporter 版本帮助信息为准:
redis_exporter --help
9.3 Prometheus Job
scrape_configs:
- job_name: redis
static_configs:
- targets:
- 192.0.2.211:9121
labels:
service: redis
重点指标:
- Redis 可用状态。
- 内存使用量。
- 连接客户端数量。
- 命令速率。
- 命中率。
- Key 数量。
- 持久化、主从复制和延迟。
10. 监控 Nginx
10.1 选择指标方案
常见方案:
ngx_http_stub_status_module:只提供连接、请求等基础指标。nginx-module-vts:提供虚拟主机、上游、状态码等详细指标。nginx-vts-exporter:读取 VTS JSON 并转换为 Prometheus 指标。
VTS 本身可以直接输出 Prometheus 格式。若 Prometheus 已直接抓取 VTS,再抓取 VTS Exporter 可能造成同一指标重复采集。应根据 Dashboard 使用的指标名称选择一种方案。
10.2 安装 VTS 模块
应使用固定版本、可信来源的模块:
git clone --depth 1 --branch "${VTS_VERSION}" \
https://github.com/vozlt/nginx-module-vts.git
10.3 编译 Nginx
./configure \
--prefix=/opt/nginx \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-http_realip_module \
--with-stream \
--add-module=/path/to/nginx-module-vts
make -j2
sudo make install
第三方模块会增加升级和维护成本,生产环境应进行回归测试。
10.4 配置 VTS
在 Nginx 的 http 配置块中:
vhost_traffic_status_zone;
在受保护的 server 中:
location /status {
allow 192.0.2.31;
deny all;
vhost_traffic_status_display;
}
验证:
/opt/nginx/sbin/nginx -t
curl -s http://192.0.2.211/status/format/prometheus | head
状态页面必须限制来源,不能直接公开。
10.5 方案一:Prometheus 直接抓取 VTS
scrape_configs:
- job_name: nginx-vts
metrics_path: /status/format/prometheus
static_configs:
- targets:
- 192.0.2.211:80
labels:
service: nginx
10.6 方案二:通过 VTS Exporter
启动:
/opt/nginx-vts-exporter/nginx-vts-exporter \
-nginx.scrape_uri=http://192.0.2.211/status/format/json
Prometheus:
scrape_configs:
- job_name: nginx-vts-exporter
static_configs:
- targets:
- 192.0.2.211:9913
labels:
service: nginx
重点指标:
- 请求总数和请求速率。
- 各状态码数量。
- 活跃连接、读写连接。
- 上游请求与失败。
- 响应字节数。
- 各虚拟主机的访问分布。
11. 监控 Tomcat
11.1 构建 Metrics 应用
可选择可信的 Tomcat Metrics WAR 或在本组织仓库中构建镜像:
git clone "${TOMCAT_EXPORTER_REPOSITORY}"
cd tomcat-exporter
docker build -t tomcat-monitor-demo:local .
要求:
- 固定依赖和基础镜像版本。
- 核实 WAR 来源和许可证。
- 镜像使用非 root 用户。
- 不把镜像发布到未知公共仓库。
11.2 启动
docker run -d \
--name tomcat-monitor-demo \
-p 127.0.0.1:18080:8080 \
tomcat-monitor-demo:local
验证:
curl -s http://127.0.0.1:18080/metrics/ | head
11.3 Prometheus Job
scrape_configs:
- job_name: tomcat
metrics_path: /metrics
static_configs:
- targets:
- 192.0.2.211:18080
labels:
service: tomcat
若 Metrics Servlet 实际路径为 /metrics/,以 /metrics 通常可兼容跳转或访问,但应以实际测试结果为准。
重点指标:
- JVM Heap 与 GC。
- 线程和线程池。
- 请求数量、耗时和错误。
- Servlet 活跃会话。
- JDBC 连接池。
12. Grafana Dashboard 模板
原始资料中提到的社区 Dashboard ID 可作为查找线索:
| 服务 | 资料中的 Dashboard ID |
|---|---|
| ZooKeeper | 10465 |
| Elasticsearch | 14191 |
| Kafka | 12460 |
| Jenkins | 9964、9524、12646 |
| MySQL | 18949、17320、14057 |
| Redis | 763、14091 |
| Nginx | 2949 |
注意:
- 社区模板可能更新、下架或仅适配特定指标版本。
- 导入前检查作者、查询语句和数据源。
- 不要把包含密码或 Token 的 Dashboard JSON 直接分享。
- 导入后检查 Panel 是否无数据、单位是否正确、变量是否匹配。
- 不为了兼容旧模板而降低 Grafana 安全版本。
13. Grafana 插件安装
13.1 在线安装
较新版本推荐:
sudo grafana cli plugins install <PLUGIN_ID>
sudo systemctl restart grafana-server
较旧版本可能使用:
sudo grafana-cli plugins install <PLUGIN_ID>
安装前应核对:
- 插件 ID 与报错名称一致。
- 插件是否支持当前 Grafana 版本。
- 插件是否已签名、由可信作者发布。
- 是否确实需要安装,是否有官方内置替代面板。
13.2 离线安装
unzip <PLUGIN_PACKAGE>.zip -d /var/lib/grafana/plugins/
sudo chown -R grafana:grafana /var/lib/grafana/plugins/<PLUGIN_ID>
sudo systemctl restart grafana-server
离线安装也必须验证发布包来源与校验值。
13.3 插件兼容性
如果 Dashboard 报:
Panel plugin not found: <PLUGIN_ID>
按顺序检查:
- 插件是否安装成功。
- Grafana 是否重启。
- 插件目录和属主是否正确。
- 插件是否支持当前 Grafana 版本。
- 是否触发签名或兼容性限制。
不要通过允许加载所有未签名插件来强行绕过安全检查。优先升级插件、替换面板或使用受支持版本。
14. 服务发现
14.1 文件服务发现
适合由外部系统生成 Target 文件:
scrape_configs:
- job_name: file-discovery
file_sd_configs:
- files:
- /etc/prometheus/targets/nodes/*.yml
refresh_interval: 30s
Target 文件:
- targets:
- 192.0.2.41:9100
- 192.0.2.42:9100
labels:
service: linux
environment: demo
修改文件后由 Prometheus 自动刷新,不一定要重载主配置。
14.2 Consul 服务发现
示意:
scrape_configs:
- job_name: consul-nodes
consul_sd_configs:
- server: 192.0.2.10:8500
services:
- node-exporter
Consul 应启用 ACL,Prometheus 只获得读取所需服务的权限。
15. 安全建议
15.1 Exporter 暴露面
- Exporter 只监听管理网或本机地址。
- 防火墙只允许 Prometheus Server 访问。
- 不把
/metrics直接暴露到公网。 - 对所有指标接口启用 TLS 或通过受控反向代理。
15.2 凭据
- 使用专用只读账号。
- 使用密码文件、Secret、系统 Keystore 或 Vault。
- 不把密码写入命令行、YAML、Dashboard 和 Git。
- 定期轮换密码与 Token。
- 不在日志中输出完整 URI 或认证头。
15.3 Grafana
- 修改默认管理员密码。
- 禁止匿名访问。
- 使用最小权限角色。
- 审核第三方插件和 Community Dashboard。
- 使用 HTTPS。
- 定期备份数据库、Dashboard JSON 和 Provisioning。
16. 常见故障
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| Target 为 DOWN | Exporter 未启动 | 检查进程、端口和 systemd |
| 连接拒绝 | 监听地址错误 | 查看 ss -ntlp 和启动参数 |
| 401/403 | 监控账号权限或密码错误 | 检查认证和最小权限授权 |
| TLS 失败 | CA、主机名或证书链错误 | 不要使用跳过校验参数 |
| Metrics 为空 | 路径错误或 Collector 未启用 | 直接 curl 指标端点 |
| Grafana 图表无数据 | 指标名与 Dashboard 不匹配 | 检查模板版本和实际 metric |
| Dashboard 插件缺失 | 插件未安装或不兼容 | 使用受支持版本或替代面板 |
| 指标重复 | 同时抓取直接端点和 Exporter | 选择一种采集路径 |
| 序列过多 | Topic、Job 或 URL 标签基数高 | 缩小过滤范围并优化标签 |
| 告警未发送 | Prometheus 规则或 Alertmanager 未配置 | 检查规则、路由和通知 |
17. 综合
- 启用 ZooKeeper 内置 Metrics Provider 并接入 Prometheus。
- 使用只读账号接入 Elasticsearch Exporter。
- 监控 Kafka Broker、Topic、Consumer Group 和 Lag。
- 启用 Jenkins Prometheus Plugin。
- 创建最小权限 MySQL 监控用户并接入 Exporter。
- 使用密码文件接入 Redis Exporter。
- 配置 Nginx VTS 指标端点并限制访问来源。
- 分别测试 Prometheus 直接抓取 VTS 和通过 VTS Exporter 抓取。
- 构建并运行 Tomcat Metrics 应用。
- 为每个服务建立独立 Prometheus Job。
- 导入兼容的 Grafana Dashboard 并修复无数据面板。
- 使用文件服务发现自动加载 Target。
- 使用 Consul ACL 接入服务发现。
- 为所有 Exporter 设计访问控制与凭据管理方案。
18. 总结
- Exporter 负责把服务指标转换为 Prometheus 可抓取格式。
- 每个服务应有独立、稳定的 Prometheus Job。
- 配置后先
promtool check config,再 reload。 - ZooKeeper 可通过内置 Provider 暴露 Prometheus 指标。
- Elasticsearch、MySQL、Redis 监控应使用最小权限专用账号。
- Kafka 监控重点包括 Broker、分区、ISR 和 Consumer Lag。
- Jenkins 指标可能包含 Job 和节点名称,需控制访问。
- Nginx VTS 可直接输出 Prometheus 指标,Exporter 不是必需。
- 同时抓取 VTS 和 VTS Exporter 可能产生重复指标。
- Grafana Dashboard ID 只是线索,必须核对指标版本和查询安全。
- Grafana 插件必须验证来源、签名和版本兼容性。
- 文件服务发现适合外部系统动态生成 Target 文件。