Prometheus 监控体系与 Grafana 可视化
Prometheus 监控体系与 Grafana 可视化
1. Prometheus 是什么
Prometheus 是开源的系统监控和告警平台,主要特点:
- 原生时间序列数据库。
- 使用 PromQL 查询指标。
- 默认通过 HTTP Pull 拉取指标。
- 支持静态配置和服务发现。
- 提供多维标签数据模型。
- 可与 Alertmanager、Grafana 和各类 Exporter 配合。
- 适合动态容器、微服务、主机和网络等以数字为主的监控场景。
Prometheus 侧重可靠性、趋势判断和故障诊断,不适合作为要求百分之百准确的财务计费数据库。
2. 常见监控工具定位
| 工具 | 主要定位 |
|---|---|
| Nagios | 主机与服务可用性检查,插件和告警丰富 |
| Cacti | 网络设备与图形化趋势监控 |
| Zabbix | 主机、网络、应用监控和告警的一体化平台 |
| Smokeping | 网络延迟和丢包趋势 |
| Prometheus | 指标采集、时序存储、PromQL 和云原生监控 |
| Grafana | 多数据源可视化与 Dashboard |
Prometheus 与 Grafana 不是替代关系:Prometheus 负责采集、存储和查询,Grafana 负责展示。
3. 核心架构
核心组件:
| 组件 | 作用 |
|---|---|
| Prometheus Server | 抓取、存储、查询和执行告警规则 |
| Target | 被监控目标 |
| Exporter | 把第三方系统指标转换为 Prometheus 格式 |
| Client Library | 在应用内生成和暴露指标 |
| Pushgateway | 接收短期任务主动推送的指标 |
| Alertmanager | 告警去重、分组、抑制和路由 |
| Prometheus Web UI | 查看 Target、查询 PromQL 和基础图形 |
| Grafana | 多数据源可视化和 Dashboard |
| Service Discovery | 动态发现 Target |
4. 数据模型
一条时间序列由以下部分组成:
metric_name{label1="value1",label2="value2"} value timestamp
示例:
node_cpu_seconds_total{cpu="0",mode="idle",instance="192.0.2.41:9100",job="node-exporters"} 12345.6
指标名称:
node_cpu_seconds_total
标签:
cpu="0"
mode="idle"
instance="192.0.2.41:9100"
job="node-exporters"
每个唯一标签组合代表一条独立时间序列。标签基数过高会增加内存、存储和查询压力。
5. 指标类型
5.1 Counter
单调递增的累计值,例如:
- CPU 累计使用秒数。
- 网络累计字节数。
- HTTP 累计请求数。
Counter 可能因进程重启而回到零,所以分析速率时通常使用 rate、irate 或 increase。
示例:
node_cpu_seconds_total
node_network_receive_bytes_total
5.2 Gauge
可以上升或下降的瞬时值,例如:
- 当前内存使用量。
- 磁盘剩余空间。
- 当前温度。
- 当前连接数。
示例:
node_memory_MemAvailable_bytes
node_filesystem_avail_bytes
5.3 Histogram
Histogram 把观察值分桶,可用于估算分位数。
指标通常包含:
http_request_duration_seconds_bucket
http_request_duration_seconds_sum
http_request_duration_seconds_count
可用 histogram_quantile() 近似计算 P95、P99 等分位数。
5.4 Summary
Summary 在客户端计算分位数和汇总值,常见后缀:
_sum
_count
Summary 与 Histogram 都用于分布统计,但聚合方式和适用场景不同。需要跨多个实例重新聚合分位数时,通常优先评估 Histogram。
6. Pull、Pushgateway 与适用场景
6.1 Pull
Prometheus 定期访问 Target 的 /metrics。优点:
- Prometheus 能直接判断目标是否在线。
- 配置和抓取状态集中可控。
- 适合长期运行的服务。
默认 up 指标可判断抓取是否成功:
up
6.2 Pushgateway
适合短期批处理任务:
Batch Job → Pushgateway ← Pull Prometheus
注意:
- Pushgateway 保存的是最后一次推送值,不会自动判断任务已经退出。
- 不适合长期运行服务绕开被拉取架构。
- 任务结束或失败时应明确清理或更新对应指标。
- 多实例向相同分组推送时可能互相覆盖。
7. 部署方式
常见方式:
| 方式 | 适用场景 |
|---|---|
| 二进制 + systemd | 手工理解和维护基础组件 |
| Docker | 快速测试和容器环境 |
| Kubernetes Operator | 自动管理 Prometheus、规则和 ServiceMonitor |
| Helm | Kubernetes 中批量部署 |
| 配置管理工具 | 多环境标准化部署 |
本笔记使用二进制与 systemd,便于观察组件关系。
8. 部署 Prometheus Server
8.1 准备目录和用户
sudo useradd --system \
--user-group \
--home /var/lib/prometheus \
--shell /usr/sbin/nologin \
prometheus
sudo install -d -o root -g prometheus /etc/prometheus
sudo install -d -o root -g prometheus /etc/prometheus/rules
sudo install -d -o prometheus -g prometheus /var/lib/prometheus
sudo install -d /opt/prometheus
8.2 下载与安装
wget "https://github.com/prometheus/prometheus/releases/download/v${PROMETHEUS_VERSION}/prometheus-${PROMETHEUS_VERSION}.linux-amd64.tar.gz"
tar xf "prometheus-${PROMETHEUS_VERSION}.linux-amd64.tar.gz"
sudo install -m 0755 \
"prometheus-${PROMETHEUS_VERSION}.linux-amd64/prometheus" \
/opt/prometheus/prometheus
sudo install -m 0755 \
"prometheus-${PROMETHEUS_VERSION}.linux-amd64/promtool" \
/opt/prometheus/promtool
sudo cp -a \
"prometheus-${PROMETHEUS_VERSION}.linux-amd64/consoles" \
"prometheus-${PROMETHEUS_VERSION}.linux-amd64/console_libraries" \
/opt/prometheus/
下载软件包后建议核对官方校验值。
8.3 基础配置
文件:/etc/prometheus/prometheus.yml
global:
scrape_interval: 15s
scrape_timeout: 10s
evaluation_interval: 15s
rule_files:
- /etc/prometheus/rules/*.yml
scrape_configs:
- job_name: prometheus
static_configs:
- targets:
- 127.0.0.1:9090
- job_name: node-exporters
metrics_path: /metrics
scheme: http
static_configs:
- targets:
- 192.0.2.41:9100
- 192.0.2.42:9100
- 192.0.2.43:9100
labels:
environment: demo
说明:
scrape_interval是正常采集周期。scrape_timeout应小于采集周期。- 3 秒采集只适合短时演示,长期使用会显著增加存储和 CPU 压力。
job、instance是 Prometheus 自动附加的重要标签。
8.4 systemd
文件:/etc/systemd/system/prometheus.service
[Unit]
Description=Prometheus Server
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=prometheus
Group=prometheus
ExecStart=/opt/prometheus/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--storage.tsdb.path=/var/lib/prometheus \
--web.listen-address=127.0.0.1:9090 \
--web.enable-lifecycle
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target
启动:
sudo systemctl daemon-reload
sudo systemctl enable --now prometheus
sudo systemctl status prometheus
sudo journalctl -u prometheus -f
127.0.0.1 适合通过本机反向代理访问。直接远程实验时可临时监听内网地址,但应结合防火墙限制来源。
8.5 校验配置
/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
热加载:
curl -X POST http://127.0.0.1:9090/-/reload
只有启动参数包含 --web.enable-lifecycle 时,热加载接口才可用。没有启用时,应通过 systemd 重启服务。
8.6 验证
curl -s http://127.0.0.1:9090/-/ready
curl -s http://127.0.0.1:9090/-/healthy
访问:
http://127.0.0.1:9090/targets
http://127.0.0.1:9090/graph
9. 部署 node_exporter
9.1 创建用户和目录
sudo useradd --system \
--user-group \
--home /var/lib/node_exporter \
--shell /usr/sbin/nologin \
node_exporter
sudo install -d -o root -g node_exporter /etc/node_exporter
sudo install -d -o node_exporter -g node_exporter /var/lib/node_exporter
sudo install -d /opt/node_exporter
9.2 下载与安装
wget "https://github.com/prometheus/node_exporter/releases/download/v${NODE_EXPORTER_VERSION}/node_exporter-${NODE_EXPORTER_VERSION}.linux-amd64.tar.gz"
tar xf "node_exporter-${NODE_EXPORTER_VERSION}.linux-amd64.tar.gz"
sudo install -m 0755 \
"node_exporter-${NODE_EXPORTER_VERSION}.linux-amd64/node_exporter" \
/opt/node_exporter/node_exporter
9.3 systemd
文件:/etc/systemd/system/node_exporter.service
[Unit]
Description=Prometheus Node Exporter
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=node_exporter
Group=node_exporter
ExecStart=/opt/node_exporter/node_exporter \
--web.listen-address=:9100
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target
启动并验证:
sudo systemctl daemon-reload
sudo systemctl enable --now node_exporter
sudo systemctl status node_exporter
curl -s http://127.0.0.1:9100/metrics | head
node_exporter 默认监听 9100,不要直接暴露到公网。可通过防火墙只允许 Prometheus Server 访问。
10. Prometheus 采集 node_exporter
在 prometheus.yml 中增加:
scrape_configs:
- job_name: node-exporters
metrics_path: /metrics
scheme: http
static_configs:
- targets:
- 192.0.2.41:9100
- 192.0.2.42:9100
- 192.0.2.43:9100
检查并重载:
/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
curl -X POST http://127.0.0.1:9090/-/reload
在 Targets 页面检查:
- 所有 Target 状态是否为
UP。 - 最近一次 Scrape 是否成功。
- Error 是否有超时或连接拒绝。
- Labels 是否符合预期。
常用查询:
up
up{job="node-exporters"}
up{job="node-exporters"} == 0
node_cpu_seconds_total
11. PromQL 基础
11.1 直接查询指标
node_cpu_seconds_total
11.2 精确标签匹配
node_cpu_seconds_total{instance="192.0.2.41:9100"}
11.3 多标签匹配
node_cpu_seconds_total{
instance="192.0.2.41:9100",
cpu="0",
mode="idle"
}
11.4 标签运算符
| 运算符 | 含义 | 示例 |
|---|---|---|
= | 精确相等 | mode="idle" |
!= | 不等于 | mode!="idle" |
=~ | 正则匹配 | mode=~"i.*" |
!~ | 正则不匹配 | mode!~"i.*" |
正则表达式默认是完整匹配,不是任意子串匹配。
11.5 Range Vector
选择最近 1 分钟的数据:
node_cpu_seconds_total{mode="idle"}[1m]
Range Vector 常作为 rate、increase 等函数的输入。普通图形通常需要先使用函数得到 Instant Vector。
11.6 时间窗口
- 窗口必须至少包含两个样本。
- 15 秒采集一次时,
1m窗口大约有 4~5 个样本。 - 短窗口更灵敏,但也更容易受抖动影响。
- 长时间看板可使用
5m、10m或 Grafana 的$__rate_interval。
12. 常用 PromQL 函数
12.1 rate
计算 Counter 每秒平均增长量:
rate(node_cpu_seconds_total{mode="idle"}[5m])
12.2 irate
使用最近两个样本计算瞬时变化率:
irate(node_cpu_seconds_total{mode="idle"}[5m])
irate 对短时波动敏感,适合观察瞬时趋势;告警通常优先使用较稳定的 rate。
12.3 increase
计算指定窗口内的近似增量:
increase(node_cpu_seconds_total{mode="idle"}[5m])
12.4 sum
对匹配的序列求和:
sum(increase(node_cpu_seconds_total{mode="idle"}[5m]))
12.5 by
按标签分组:
sum by (instance) (
increase(node_cpu_seconds_total{mode="idle"}[5m])
)
12.6 topk
获取值最高的前 N 个序列:
topk(
3,
rate(node_cpu_seconds_total{mode="idle"}[5m])
)
12.7 count
统计序列数量:
count(up{job="node-exporters"} == 0)
适合判断“有多少个 Target 离线”。
12.8 avg
计算平均值:
avg(rate(node_cpu_seconds_total{mode="idle"}[5m]))
13. PromQL 计算 CPU 使用率
13.1 推荐公式
计算各节点总 CPU 使用率:
100 * (
1 -
avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
)
)
13.2 用户态 CPU
100 * avg by (instance) (
rate(node_cpu_seconds_total{mode="user"}[5m])
)
13.3 内核态 CPU
100 * avg by (instance) (
rate(node_cpu_seconds_total{mode="system"}[5m])
)
13.4 I/O 等待
100 * avg by (instance) (
rate(node_cpu_seconds_total{mode="iowait"}[5m])
)
当需要与 top 对比时,确认时间窗口、CPU 个数和容器环境限制一致。
14. 其他常用主机指标
14.1 内存使用率
100 * (
1 -
node_memory_MemAvailable_bytes
/
node_memory_MemTotal_bytes
)
14.2 文件系统使用率
100 * (
1 -
node_filesystem_avail_bytes{fstype!~"tmpfs|overlay"}
/
node_filesystem_size_bytes{fstype!~"tmpfs|overlay"}
)
14.3 网络接收速率
sum by (instance) (
rate(node_network_receive_bytes_total{device!="lo"}[5m])
)
14.4 网络发送速率
sum by (instance) (
rate(node_network_transmit_bytes_total{device!="lo"}[5m])
)
14.5 系统运行时间
time() - node_boot_time_seconds
14.6 Target 可用性
up{job="node-exporters"}
1 表示抓取成功,0 表示失败。
指标名称会因操作系统和 node_exporter Collector 配置有所不同,应以实际 /metrics 输出为准。
15. 基础告警规则
规则文件:/etc/prometheus/rules/node-alerts.yml
groups:
- name: node-alerts
rules:
- alert: NodeExporterDown
expr: up{job="node-exporters"} == 0
for: 2m
labels:
severity: warning
annotations:
summary: "Node Exporter 无法抓取"
description: "{{ $labels.instance }} 已连续 2 分钟不可用。"
- alert: HighCpuUsage
expr: |
100 * (
1 -
avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
)
) > 85
for: 10m
labels:
severity: warning
annotations:
summary: "CPU 使用率过高"
description: "{{ $labels.instance }} CPU 使用率已超过 85%。"
校验:
/opt/prometheus/promtool check rules \
/etc/prometheus/rules/node-alerts.yml
在 prometheus.yml 中确保:
rule_files:
- /etc/prometheus/rules/*.yml
Prometheus 负责触发告警,Alertmanager 负责去重、分组、抑制和发送通知。
16. 部署 Grafana
16.1 安装
wget "https://dl.grafana.com/oss/release/grafana_${GRAFANA_VERSION}_amd64.deb"
sudo apt install -y adduser libfontconfig1 musl
sudo dpkg -i "grafana_${GRAFANA_VERSION}_amd64.deb"
16.2 启动
sudo systemctl enable --now grafana-server
sudo systemctl status grafana-server
sudo journalctl -u grafana-server -f
sudo ss -ntlp | grep ':3000'
Grafana 默认使用 3000 端口。首次登录后应立即设置强密码,不要跳过初始安全设置。
16.3 安全建议
- 禁止匿名访问。
- 首次登录后立即更换默认管理员密码。
- 通过 TLS 反向代理访问。
- 区分管理员、编辑者和只读用户。
- 数据源使用只读账号或受限 Token。
- 不把 Grafana 直接暴露在公网。
17. 配置 Prometheus 数据源
在 Grafana 中:
Connections → Data sources → Add data source → Prometheus
如果 Grafana 和 Prometheus 在同一主机,可配置:
http://127.0.0.1:9090
若 Prometheus 启用 TLS 和认证,应同时配置:
- HTTPS 地址。
- CA 证书。
- 受限访问凭据。
- 不勾选跳过 TLS 校验。
保存后点击 Save & test,确认数据源可查询。
18. Grafana 变量与 Dashboard
18.1 创建主机变量
变量类型选择 Query,常用:
label_values(up{job="node-exporters"}, instance)
变量名可为:
host
18.2 在 PromQL 中引用变量
单选:
node_cpu_seconds_total{instance="$host",mode="idle"}
多选时应使用正则匹配:
node_cpu_seconds_total{instance=~"$host",mode="idle"}
18.3 Dashboard 常用面板
| 面板 | 查询或指标 |
|---|---|
| CPU 使用率 | 第 13 节推荐公式 |
| 内存使用率 | node_memory_MemAvailable_bytes |
| 磁盘使用率 | node_filesystem_* |
| 网络吞吐 | node_network_* |
| 系统启动时间 | node_boot_time_seconds |
| Target 状态 | up |
| 告警数量 | 根据规则和 ALERTS 指标统计 |
可以使用可信的社区 Dashboard 作为起点,但导入后必须检查:
- 指标名称是否与当前 node_exporter 版本一致。
- 数据源和变量是否正确。
- 查询时间窗口和单位是否正确。
- 是否存在过宽的正则或高基数查询。
19. Grafana 备份与恢复
19.1 Dashboard 导出
推荐把 Dashboard JSON 纳入版本控制:
- 打开 Dashboard。
- 进入 Settings。
- 导出 JSON。
- 清除不必要的敏感数据和数据源密码。
- 提交到受控仓库。
19.2 数据库备份
Grafana 默认数据库可能为:
/var/lib/grafana/grafana.db
简单实验环境可在停止服务后备份:
sudo systemctl stop grafana-server
sudo cp -a \
/var/lib/grafana/grafana.db \
/var/backups/grafana.db.$(date +%Y%m%d%H%M%S)
sudo systemctl start grafana-server
生产环境应使用数据库一致性快照或外部 PostgreSQL,并同时备份 Provisioning、插件和数据源配置。
恢复后检查:
- Grafana 可以启动。
- 管理员可以登录。
- 数据源连接正常。
- Dashboard 和变量可加载。
- 用户与权限符合预期。
20. Prometheus 联邦模式
20.1 原理
联邦模式让一个 Prometheus Server 从其他 Prometheus Server 的 /federate 接口抓取选定指标:
20.2 子 Prometheus 配置
Prometheus 32 采集节点 41:
scrape_configs:
- job_name: node-exporters-32
static_configs:
- targets:
- 192.0.2.41:9100
Prometheus 33 采集节点 42、43:
scrape_configs:
- job_name: node-exporters-33
static_configs:
- targets:
- 192.0.2.42:9100
- 192.0.2.43:9100
20.3 汇总节点配置
scrape_configs:
- job_name: federate-prometheus-32
metrics_path: /federate
honor_labels: true
params:
"match[]":
- '{job="node-exporters-32"}'
- '{__name__=~"node_.*"}'
static_configs:
- targets:
- 192.0.2.32:9090
- job_name: federate-prometheus-33
metrics_path: /federate
honor_labels: true
params:
"match[]":
- '{job="node-exporters-33"}'
- '{__name__=~"node_.*"}'
static_configs:
- targets:
- 192.0.2.33:9090
20.4 honor_labels
honor_labels: false:发生标签冲突时,保留父级 Target 标签,被采集指标中的冲突标签加exported_前缀。honor_labels: true:优先保留被采集指标原有标签,忽略父级 Target 的相同标签。
联邦时应关注 instance、job 和自定义标签冲突。
20.5 验证
up
node_cpu_seconds_total
node_cpu_seconds_total{job="node-exporters-32"}
停止任意子 Prometheus 或 node_exporter,观察对应 up 值和数据中断范围。
20.6 联邦不是高可用
联邦主要用于分层采集和局部汇总。它不自动:
- 复制同一个 Prometheus 节点的全部数据。
- 提供自动故障转移。
- 对多个 Prometheus 副本去重。
- 提供长期集中式对象存储。
需要长期存储或高可用时,应评估远程写入、Thanos、Grafana Mimir 或 VictoriaMetrics 等方案。
21. 安全与性能
21.1 安全
- Prometheus 默认无完整认证,使用反向代理或 Web 配置启用 TLS/Auth。
- node_exporter 只允许 Prometheus 和运维网段访问。
- Grafana 禁止匿名登录。
- 数据源凭据使用 Secret 或受控配置文件。
- 限制 Prometheus 生命周期重载接口的访问来源。
- 不把远程写端点、API Token 写入公开 Dashboard。
21.2 存储
本地 TSDB 配置示例:
--storage.tsdb.retention.time=15d
注意:
- 本地存储不适合无限期保存。
- 删除指标不能修复高基数设计问题。
- 高基数来自大量唯一标签组合,例如用户 ID、请求 ID、完整 URL。
- 标签值应稳定、可枚举,避免随机值。
21.3 查询
- 避免无时间窗口的全量 Counter 函数查询。
- 使用合理时间窗口。
- 高基数字段不要用于聚合标签。
- 大范围查询应拆分时间并限制并发。
- 告警规则使用足够
for时长过滤瞬时抖动。
22. 常见故障
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| Target 为 DOWN | Exporter 未启动或端口错误 | systemctl、ss、curl /metrics |
| Target 超时 | 防火墙、路由、网络延迟 | 从 Prometheus 节点直接 curl |
| 热加载失败 | 未启用 lifecycle | 添加 --web.enable-lifecycle |
| 新配置不生效 | 配置错误或未 reload | promtool check config |
| Grafana 无数据 | 数据源地址错误 | 在 Grafana 中 Save & test |
| 图形断点 | 时间窗口内样本不足 | 扩大窗口或检查采集间隔 |
| 查询报错 | Range Vector 未套函数 | 使用 rate、increase 等 |
| 存储增长过快 | 高基数或采集周期过短 | 检查标签和 scrape interval |
| 告警不发送 | Alertmanager 未配置或路由错误 | 检查规则、Alertmanager 和通知路由 |
| 联邦数据重复 | match[] 或实例范围重叠 | 核对每个子集群采集范围 |
23. 监控 Windows
Windows 主机可使用 windows_exporter。常见步骤:
- 安装并启动
windows_exporter。 - 确认指标端口可访问,常用端口为
9182。 - 在 Prometheus 中增加 Windows Target。
- 查询
windows_*指标。 - 在 Grafana 中选择对应 Dashboard。
示例:
scrape_configs:
- job_name: windows-exporters
static_configs:
- targets:
- 192.0.2.51:9182
Windows 的指标名称与 node_exporter 不同,不能直接复用 Linux CPU 查询。
24. 综合
- 使用二进制和 systemd 部署 Prometheus。
- 在三台节点部署 node_exporter。
- 配置 Prometheus 抓取三个 node_exporter。
- 使用
promtool检查并热加载配置。 - 查询
up、CPU、内存、磁盘和网络指标。 - 计算各节点 CPU、内存和文件系统使用率。
- 创建 Target 离线和 CPU 过高的告警规则。
- 部署 Grafana 并配置 Prometheus 数据源。
- 创建主机变量和 CPU 使用率 Dashboard。
- 导出 Dashboard JSON 并完成一次恢复测试。
- 部署两个子 Prometheus 和一个汇总 Prometheus。
- 使用
/federate汇总指定指标。 - 停止一个子 Prometheus,观察汇总端的
up和数据变化。 - 设计 Prometheus 与 node_exporter 的访问控制方案。
25. 总结
- Prometheus 默认通过 Pull 抓取
/metrics。 - Exporter 把第三方系统指标转换成 Prometheus 格式。
- Counter 适合计算
rate和increase,Gauge 表示瞬时值。 - Histogram 和 Summary 都用于分布统计。
- 热加载依赖
--web.enable-lifecycle。 up是判断 Target 抓取健康的核心指标。- PromQL 支持精确、不等于、正则匹配和正则排除。
- CPU 使用率常用
1 - 平均空闲率计算。 - Grafana 负责可视化,首次登录必须修改默认密码。
- Dashboard 变量常用
label_values()查询。 - 联邦模式通过
/federate抓取子 Prometheus 的选中指标。 - 联邦不是高可用或长期存储方案。
- 高基数标签、过短采集周期和过大查询窗口是性能风险。