0
0

Prometheus 服务发现、黑盒监控与容器监控

2026-11-02
Prometheus 服务发现、黑盒监控与容器监控

Prometheus 服务发现、黑盒监控与容器监控

1. 监控体系扩展

静态 Target
Prometheus
文件服务发现
Consul 服务发现
Exporter / 应用
本地 TSDB
VictoriaMetrics
Alertmanager
Grafana
var(--bytemd-mermaid-note-text-color, var(--bytemd-mermaid-actor-text-color, var(--bytemd-mermaid-label-text-color, var(--bytemd-mermaid-loop-text-color, var(--bytemd-mermaid-c-scale-label1, var(--bytemd-mermaid-c-scale-label2, var(--bytemd-mermaid-c-scale-label4, var(--bytemd-mermaid-c-scale-label5, var(--bytemd-mermaid-c-scale-label6, var(--bytemd-mermaid-c-scale-label7, var(--bytemd-mermaid-c-scale-label8, var(--bytemd-mermaid-c-scale-label9, var(--bytemd-mermaid-c-scale-label10, var(--bytemd-mermaid-c-scale-label11, black))))))))))))))box Exporter
短期 Job
Pushgateway

新增能力:

能力作用
cAdvisor采集 Docker 容器资源与运行状态
文件服务发现通过 JSON/YAML 动态维护 Target
Consul 服务发现基于注册中心自动发现服务
Pushgateway接收短生命周期任务的指标
Blackbox从外部探测 HTTP、TCP、ICMP、DNS 等
VictoriaMetrics接收 Prometheus 远程写入
Client Library在应用内部生成业务指标

2. Docker 部署监控组件

2.1 基本原则

  • 固定镜像标签,并核对镜像摘要。
  • 使用受限端口映射,例如只绑定 127.0.0.1 或管理网地址。
  • 配置文件和持久化数据使用挂载卷。
  • 不把管理门户直接暴露到公网。
  • 不使用 latest 作为长期生产版本。
  • 不默认使用 --network host。

2.2 Docker 版 Prometheus

准备:

sudo install -d -o root -g root /etc/prometheus
docker volume create prometheus-data

运行:

docker run -d \
  --name prometheus \
  -p 127.0.0.1:9090:9090 \
  -v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro \
  -v /etc/prometheus/rules:/etc/prometheus/rules:ro \
  -v prometheus-data:/prometheus \
  prom/prometheus:v2.53.2 \
  --config.file=/etc/prometheus/prometheus.yml \
  --storage.tsdb.path=/prometheus \
  --web.enable-lifecycle

不要把配置只修改在容器内部。容器重建后这些修改会丢失,也不能被版本管理。

2.3 Docker 版 node_exporter

docker run -d \
  --name node-exporter \
  -p 127.0.0.1:9100:9100 \
  --pid=host \
  -v /:/host:ro,rslave \
  prom/node-exporter:v1.8.2 \
  --path.rootfs=/host

2.4 Docker 版 Grafana

docker volume create grafana-data

docker run -d \
  --name grafana \
  -p 127.0.0.1:3000:3000 \
  -v grafana-data:/var/lib/grafana \
  grafana/grafana:11.1.4

首次登录后立即修改管理员密码,并禁止匿名访问。

2.5 Docker 版 Pushgateway 和 Alertmanager

Pushgateway:

docker volume create pushgateway-data

docker run -d \
  --name pushgateway \
  -p 127.0.0.1:9091:9091 \
  -v pushgateway-data:/pushgateway \
  prom/pushgateway:v1.9.0 \
  --persistence.file=/pushgateway/pushgateway.data \
  --persistence.interval=5m

Alertmanager:

docker run -d \
  --name alertmanager \
  -p 127.0.0.1:9093:9093 \
  -v /etc/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro \
  prom/alertmanager:v0.27.0 \
  --config.file=/etc/alertmanager/alertmanager.yml

远程主机需要访问时,应绑定到受限内网地址并通过防火墙限制来源,而不是直接使用 0.0.0.0 暴露。

3. cAdvisor 容器监控

3.1 作用

cAdvisor 采集:

  • 容器 CPU。
  • 内存。
  • 文件系统。
  • 网络。
  • 容器生命周期。
  • 部分镜像和网络统计。

3.2 运行 cAdvisor

docker run -d \
  --name cadvisor \
  -p 127.0.0.1:28080:8080 \
  -v /:/rootfs:ro \
  -v /var/run:/var/run:ro \
  -v /sys:/sys:ro \
  -v /var/lib/docker:/var/lib/docker:ro \
  -v /dev/disk:/dev/disk:ro \
  gcr.io/cadvisor/cadvisor:v0.49.1

验证:

curl -s http://127.0.0.1:28080/metrics | head

3.3 权限说明

原资料中的 --privileged 和宿主机网络会扩大容器权限:

  • --privileged 可访问大量宿主机设备和内核能力。
  • 宿主机网络会共享宿主机网络命名空间。
  • --device=/dev/kmsg 会直接暴露宿主机设备。

优先使用只读挂载和端口映射。如果某个 Collector 必须使用特定能力,应只增加最小 Linux Capability,并经过安全评估。

3.4 Prometheus Job

scrape_configs:
  - job_name: cadvisor
    metrics_path: /metrics
    static_configs:
      - targets:
          - 192.0.2.211:28080
        labels:
          service: cadvisor
          environment: demo

常见指标:

container_cpu_usage_seconds_total
container_memory_working_set_bytes
container_network_receive_bytes_total
container_fs_usage_bytes

查询时应过滤 pause 容器和非业务容器,并根据 cAdvisor 版本确认标签名称。

3.5 Grafana 模板

原始资料提到的社区模板 ID:

315
10619

导入后检查:

  • 指标名称是否匹配。
  • 是否排除了 pause 容器。
  • 容器数量是否出现小数。
  • 实例和容器变量是否正确。

4. 文件服务发现

4.1 Prometheus 配置

scrape_configs:
  - job_name: file-sd-json
    file_sd_configs:
      - files:
          - /etc/prometheus/targets/*.json
        refresh_interval: 30s

  - job_name: file-sd-yaml
    file_sd_configs:
      - files:
          - /etc/prometheus/targets/*.yaml
          - /etc/prometheus/targets/*.yml
        refresh_interval: 30s

4.2 JSON Target 文件

/etc/prometheus/targets/linux-nodes.json

[
  {
    "targets": [
      "192.0.2.41:9100"
    ],
    "labels": {
      "service": "node-exporter",
      "environment": "demo",
      "site": "site-a"
    }
  }
]

4.3 YAML Target 文件

/etc/prometheus/targets/app-nodes.yml

- targets:
    - 192.0.2.42:9100
    - 192.0.2.43:9100
  labels:
    service: node-exporter
    environment: demo
    site: site-b

4.4 校验

/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml

Target 文件不存在时,promtool 可能只给出 warning;应确保目录、权限和文件名均正确。

文件服务发现适合由 Ansible、CMDB、脚本或发布系统生成 Target 文件。写入时应使用临时文件加原子替换,避免 Prometheus 读到半个 JSON/YAML。

5. Consul 集群

5.1 规划

示例三节点:

节点地址角色
consul-01192.0.2.41:8500Server
consul-02192.0.2.42:8500Server
consul-03192.0.2.43:8500Server

Consul 生产集群应使用奇数 Server 节点,通常从 3 台开始。

5.2 下载

wget "https://releases.hashicorp.com/consul/${CONSUL_VERSION}/consul_${CONSUL_VERSION}_linux_amd64.zip"
unzip "consul_${CONSUL_VERSION}_linux_amd64.zip" -d /usr/local/bin/
consul version

5.3 启动三节点

原资料的 -bootstrap 适合单次实验,不适合长期生产。三节点示例使用 -bootstrap-expect=3:

# consul-01
consul agent \
  -server \
  -bootstrap-expect=3 \
  -bind=192.0.2.41 \
  -client=192.0.2.41 \
  -data-dir=/var/lib/consul \
  -ui

# consul-02
consul agent \
  -server \
  -bootstrap-expect=3 \
  -bind=192.0.2.42 \
  -client=192.0.2.42 \
  -data-dir=/var/lib/consul \
  -ui \
  -retry-join=192.0.2.41

# consul-03
consul agent \
  -server \
  -bootstrap-expect=3 \
  -bind=192.0.2.43 \
  -client=192.0.2.43 \
  -data-dir=/var/lib/consul \
  -ui \
  -retry-join=192.0.2.41

-client 使用节点内网地址以满足远程 Prometheus 查询,但 8500 必须通过防火墙限制为管理网访问。生产环境应使用 systemd、配置文件、TLS、Gossip 加密和 ACL,不能仅使用上述命令行。

5.4 验证

consul members
consul operator raft list-peers
curl -s http://127.0.0.1:8500/v1/status/leader

服务端之间需要访问:

端口协议作用
8300TCPServer RPC
8301TCP/UDPLAN Gossip
8302TCP/UDPWAN Gossip
8500TCPHTTP API 和 UI
8600TCP/UDPDNS

6. Prometheus 使用 Consul 服务发现

6.1 配置

每个 consul_sd_configs 条目通常指定一个可访问的 Consul API 地址,Consul Server 集群会转发查询:

scrape_configs:
  - job_name: consul-node-exporters
    consul_sd_configs:
      - server: 192.0.2.41:8500
        token_file: /etc/prometheus/consul-token
        services:
          - node-exporter
    relabel_configs:
      - source_labels: [__meta_consul_service]
        regex: consul
        action: drop

说明:

  • 不需要把同一集群的所有 Server 都写成重复的 SD 条目。
  • ACL Token 应存入受限文件,不直接写在 YAML。
  • services 可以缩小发现范围。
  • relabel_configs 可过滤 Consul 自身服务或不需要的实例。

6.2 注册监控服务

向本地 Consul Agent 注册:

curl -fsS -X PUT \
  -H 'Content-Type: application/json' \
  --data-binary @node-exporter.json \
  http://127.0.0.1:8500/v1/agent/service/register

node-exporter.json:

{
  "id": "node-exporter-42",
  "name": "node-exporter",
  "address": "192.0.2.42",
  "port": 9100,
  "tags": ["linux", "prometheus"],
  "checks": [
    {
      "name": "node-exporter-metrics",
      "http": "http://192.0.2.42:9100/metrics",
      "interval": "30s",
      "timeout": "5s"
    }
  ]
}

注销:

curl -fsS -X PUT \
  http://127.0.0.1:8500/v1/agent/service/deregister/node-exporter-42

6.3 注册与注销的 Agent 关系

/v1/agent/service/register 会把服务注册到接收请求的那一个本地 Agent。注销时应向同一个 Agent 发送请求。

如果不希望依赖某个固定 Agent,可以:

  • 在目标节点本地 Agent 上注册和注销。
  • 使用 Catalog Registration API。
  • 由服务管理平台统一维护生命周期。

6.4 验证

在 Prometheus Targets 页面检查:

  • 服务是否被自动发现。
  • __meta_consul_* 标签是否符合预期。
  • 健康检查是否通过。
  • 是否被 relabel 规则错误丢弃。

7. Pushgateway 自定义指标

7.1 适用场景

Pushgateway 适合:

  • 短生命周期批处理任务。
  • 无法被 Prometheus 直接抓取的脚本。
  • 周期性检查任务。

不适合:

  • 长期运行服务。
  • 高吞吐事件流。
  • 多实例向同一分组反复覆盖的数据。

7.2 配置 Prometheus

scrape_configs:
  - job_name: pushgateway
    honor_labels: true
    static_configs:
      - targets:
          - 192.0.2.32:9091

honor_labels: true 会保留推送指标中的 job、instance 等标签。

7.3 推送指标

printf 'student_online 97\n' | curl -fsS -X PUT \
  --data-binary @- \
  http://192.0.2.32:9091/metrics/job/student_report/instance/node-a

Pushgateway 的 PUT 会替换同一分组,POST 通常会合并。应根据任务语义明确选择。

7.4 删除旧指标

curl -fsS -X DELETE \
  http://192.0.2.32:9091/metrics/job/student_report/instance/node-a

Pushgateway 会保留最后一次推送。长时间不推送不代表指标自动失效,应使用:

  • 定时清理。
  • push_time_seconds 检测陈旧数据。
  • Job 完成时主动删除。

8. 使用 Pushgateway 监控 TCP 状态

8.1 推荐指标设计

使用一个指标和 state 标签表达多个状态:

node_tcp_connections{state="ESTAB"}

不要把 12 种状态设计成 12 个互不相关的指标名,也不要对同一个分组分多次发送同一指标的不同值;后一次可能覆盖前一次。

8.2 Shell 示例

#!/usr/bin/env bash
set -euo pipefail

PUSHGATEWAY=${PUSHGATEWAY:-http://192.0.2.41:9091}
HOST_NAME=${HOST_NAME:-$(hostname)}

{
  printf '# HELP node_tcp_connections Current TCP connections by state.\n'
  printf '# TYPE node_tcp_connections gauge\n'

  ss -Htan |
    awk '
      NF > 0 {
        count[$1]++
      }
      END {
        for (state in count) {
          printf "node_tcp_connections{state=\"%s\"} %d\n", state, count[state]
        }
      }
    '
} | curl -fsS -X PUT \
  --data-binary @- \
  "${PUSHGATEWAY}/metrics/job/tcp_status/instance/${HOST_NAME}"

运行:

chmod 0750 tcp_status.sh
./tcp_status.sh

8.3 查询

node_tcp_connections
node_tcp_connections{state="TIME-WAIT"}
sum by (state) (node_tcp_connections)

ss 输出的状态名称可能为 ESTAB、TIME-WAIT、FIN-WAIT-1 等,应以当前系统实际输出为准。

9. Blackbox 与白盒监控

9.1 区别

类型数据来源典型问题
白盒监控服务或主机内部指标CPU、队列、延迟、错误率
黑盒监控从外部主动探测域名、状态码、端口、连通性

Blackbox 关注“从用户或调用方视角是否能访问”,不能替代内部资源指标。

9.2 支持的探测

  • HTTP/HTTPS。
  • TCP。
  • ICMP。
  • DNS。
  • gRPC。

10. 部署 Blackbox Exporter

10.1 运行

blackbox_exporter \
  --config.file=/etc/blackbox_exporter/blackbox.yml \
  --web.listen-address=127.0.0.1:9115

验证:

curl -s http://127.0.0.1:9115/

10.2 基础模块配置

文件:/etc/blackbox_exporter/blackbox.yml

modules:
  http_2xx:
    prober: http
    timeout: 5s
    http:
      preferred_ip_protocol: ip4
      valid_status_codes:
        - 200

  tcp_connect:
    prober: tcp
    timeout: 5s

  icmp:
    prober: icmp
    timeout: 5s
    icmp:
      preferred_ip_protocol: ip4

ICMP 探测通常需要 CAP_NET_RAW。应只授予该能力,而不是使用完整特权容器。

11. Blackbox HTTP 探测

11.1 Prometheus 配置

scrape_configs:
  - job_name: blackbox-http
    metrics_path: /probe
    params:
      module:
        - http_2xx
    static_configs:
      - targets:
          - https://www.example.com/
          - http://192.0.2.41/
          - http://192.0.2.31:9090/
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target

      - source_labels: [__param_target]
        target_label: instance

      - target_label: __address__
        replacement: 192.0.2.32:9115

关键点:

  • __address__ 先保存到 __param_target。
  • instance 改为被探测目标的名称。
  • __address__ 最终改为 Blackbox Exporter 地址。

11.2 查询

probe_success{job="blackbox-http"}
probe_http_status_code{job="blackbox-http"}
probe_duration_seconds{job="blackbox-http"}

注意:

  • up 只表示 Prometheus 能否抓取 Blackbox Exporter。
  • probe_success 才表示被探测目标是否符合模块要求。
  • 告警通常应基于 probe_success == 0,并配合 for 避免瞬时抖动。

12. Blackbox ICMP 与 TCP 探测

12.1 ICMP

scrape_configs:
  - job_name: blackbox-icmp
    metrics_path: /probe
    params:
      module:
        - icmp
    static_configs:
      - targets:
          - 192.0.2.41
          - 192.0.2.42
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.0.2.32:9115

12.2 TCP

scrape_configs:
  - job_name: blackbox-tcp
    metrics_path: /probe
    params:
      module:
        - tcp_connect
    static_configs:
      - targets:
          - 192.0.2.41:80
          - 192.0.2.42:22
          - 192.0.2.31:9090
    relabel_configs:
      - source_labels: [__address__]
        target_label: __param_target
      - source_labels: [__param_target]
        target_label: instance
      - target_label: __address__
        replacement: 192.0.2.32:9115

12.3 安全注意

Blackbox 可以访问内网地址,应控制:

  • 谁可以修改探测目标。
  • Blackbox 所在网络区域。
  • 允许探测的端口和域名。
  • 探测频率与超时。
  • 是否可能被滥用扫描其他系统。

13. VictoriaMetrics 远程存储

13.1 作用

Prometheus 本地 TSDB 保留时间有限,可通过 Remote Write 将指标发送到 VictoriaMetrics:

Prometheus Local TSDB → Remote Write → VictoriaMetrics

本地存储和远程存储可以同时存在。

13.2 运行单节点 VictoriaMetrics

# /etc/systemd/system/victoria-metrics.service
[Unit]
Description=VictoriaMetrics
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=victoria-metrics
Group=victoria-metrics
ExecStart=/usr/local/bin/victoria-metrics-prod \
  -httpListenAddr=127.0.0.1:8428 \
  -storageDataPath=/var/lib/victoria-metrics \
  -retentionPeriod=6
Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target

启动:

sudo useradd --system --user-group \
  --home /var/lib/victoria-metrics \
  --shell /usr/sbin/nologin \
  victoria-metrics

sudo install -d -o victoria-metrics -g victoria-metrics \
  /var/lib/victoria-metrics
sudo systemctl daemon-reload
sudo systemctl enable --now victoria-metrics
sudo systemctl status victoria-metrics

-retentionPeriod=6 表示保留 6 个月,应根据磁盘容量和写入速率评估。

13.3 Prometheus Remote Write

在顶级配置中增加:

remote_write:
  - url: http://192.0.2.32:8428/api/v1/write
    remote_timeout: 30s
    queue_config:
      max_samples_per_send: 5000
      max_shards: 16

先校验:

/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml

保存后按当前版本要求重启或重载 Prometheus,并确认 Remote Write 队列状态:

prometheus_remote_storage_queue_highest_sent_timestamp_seconds
prometheus_remote_storage_samples_total

具体指标名可能随 Prometheus 版本变化。

13.4 在 VictoriaMetrics 中查询

node_cpu_seconds_total
node_cpu_seconds_total{instance="192.0.2.41:9100"}

VictoriaMetrics 提供兼容 Prometheus 的查询接口,可在 Grafana 中将数据源类型设为 Prometheus,并填写 VictoriaMetrics 地址。

13.5 安全

  • 不要明文暴露 /api/v1/write 到公网。
  • 启用 TLS 和认证/反向代理。
  • 生产环境监测 Remote Write 队列、重试和磁盘容量。
  • Remote Write 不等于自动高可用,仍需评估多副本、去重和故障切换。

14. Python 自定义 Exporter

14.1 依赖隔离

python3 -m venv /opt/demo-exporter/venv
. /opt/demo-exporter/venv/bin/activate
python -m pip install --upgrade pip
python -m pip install flask prometheus-client

生产环境应锁定依赖版本并验证软件包来源,不要直接使用来源不明的镜像源或未审查脚本。

14.2 示例代码

#!/usr/bin/env python3
import os

from flask import Flask, jsonify
from prometheus_client import Counter, Summary, start_http_server

app = Flask(__name__)

REQUEST_TIME = Summary(
    "demo_request_processing_seconds",
    "Time spent processing demo requests",
)
REQUEST_COUNT = Counter(
    "demo_requests",
    "Total demo requests",
)


@app.get("/apps")
@REQUEST_TIME.time()
def apps():
    REQUEST_COUNT.inc()
    return jsonify({"service": "demo", "status": "ok"})


if __name__ == "__main__":
    # 业务端口和指标端口分离
    metrics_addr = os.environ.get("METRICS_ADDR", "127.0.0.1")
    app_addr = os.environ.get("APP_ADDR", "127.0.0.1")

    start_http_server(8000, addr=metrics_addr)
    app.run(host=app_addr, port=8001)

验证:

METRICS_ADDR=192.0.2.43 APP_ADDR=192.0.2.43 \
  python3 demo_exporter.py

curl -s http://192.0.2.43:8001/apps
curl -s http://192.0.2.43:8000/metrics | grep demo_

14.3 生产说明

  • Flask 自带服务器只适合开发测试。
  • 业务服务应使用 Gunicorn/uWSGI 等生产服务器。
  • 使用 WSGI 服务器时,指标 HTTP Server 需要由独立进程或明确的启动钩子管理,不能依赖当前 __main__ 分支。
  • 指标端口应只允许 Prometheus 访问。
  • Counter 名称应表达累计事件,Prometheus 会自动生成 _total 后缀。
  • 不要使用用户 ID、请求 ID 或时间戳作为标签。

15. Prometheus 采集自定义指标

scrape_configs:
  - job_name: demo-python-exporter
    metrics_path: /metrics
    static_configs:
      - targets:
          - 192.0.2.43:8000
        labels:
          service: demo-app

常用查询:

demo_requests_total
rate(demo_requests_total[5m])
increase(demo_requests_total[1m])
rate(demo_request_processing_seconds_sum[5m])
/
rate(demo_request_processing_seconds_count[5m])

最后一条查询计算近期平均请求处理时间,比直接用累计 _sum / _count 更能反映当前趋势。

16. Kubernetes 监控扩展

作业要求统计 Kubernetes 对象数量时,通常需要 kube-state-metrics。

常用指标:

count(kube_node_info)
count(kube_pod_info)
count(kube_service_info)
count(kube_deployment_status_replicas)
count(kube_replicaset_info)
count(kube_replicationcontroller_info)
count(kube_configmap_info)
count(kube_secret_info)

注意:

  • 不同 kube-state-metrics 版本的指标名可能不同。
  • Secret 指标不应暴露 Secret 内容。
  • 容器资源通常来自 cAdvisor/kubelet,而对象状态来自 kube-state-metrics。
  • 高对象数量环境下应控制标签和查询范围。

17. 安全与运维要点

17.1 Docker 与 cAdvisor

  • 固定镜像 tag 或 digest。
  • 尽量使用只读挂载。
  • 不使用宿主机网络。
  • 不使用完整 privileged,除非有明确、受审批的原因。
  • 限制 cAdvisor 管理端口访问。

17.2 服务发现

  • Target 文件使用原子写入和校验。
  • Consul ACL Token 放在受限文件中。
  • Consul 开启 TLS 和 Gossip 加密。
  • 只发现需要的服务。

17.3 Pushgateway

  • 每个任务使用唯一分组。
  • 任务完成时更新或删除指标。
  • 监控 push_time_seconds。
  • 不把 Pushgateway 作为长期指标总入口。

17.4 Blackbox

  • 只允许探测授权目标。
  • 限制 ICMP/TCP 频率。
  • 不给 Blackbox 完整特权。
  • 监控 probe_success 和探测耗时。

17.5 Remote Write

  • 使用 TLS 和认证。
  • 监控队列、重试、延迟和远端磁盘。
  • 评估本地与远端保留周期。
  • 确保 Grafana 数据源指向正确的查询端点。

18. 常见故障

现象可能原因排查方向
cAdvisor Target 为 DOWN端口、容器或权限问题检查容器日志、端口和 /metrics
cAdvisor 缺少部分指标挂载或 Capability 不足查看 cAdvisor 日志和采集器要求
文件 SD 没有 Target目录或文件名不匹配检查 glob、权限和文件内容
文件 SD 配置报错JSON/YAML 格式错误使用解析工具和 promtool
Consul Target 不出现ACL、健康检查或服务过滤检查 Catalog、健康检查和 relabel
Consul UI 无法访问-client 监听地址检查 consul members 和端口
Pushgateway 数据被覆盖多个任务使用同一分组使用唯一 job/instance 标签
Pushgateway 数据陈旧任务已停止但指标仍保留查询 push_time_seconds 并清理
Blackbox up=1 但目标异常up 只表示抓取 Exporter 成功查看 probe_success
Blackbox 全部失败module 名称或 relabel 错误对照 /probe?target=...&module=...
ICMP 失败缺少 CAP_NET_RAW 或网络限制检查容器能力和防火墙
VictoriaMetrics 无数据Remote Write 地址或认证错误检查队列指标和远端日志
Grafana 远端无数据数据源仍指向本地 Prometheus修改为 VictoriaMetrics 查询地址
Python 指标名不符client library 自动添加后缀查看 /metrics 的真实输出

19. 综合

  1. 使用 Docker 部署 Prometheus、node_exporter 和 Grafana。
  2. 使用只读挂载和受限端口部署 cAdvisor。
  3. 在 Prometheus 中采集 cAdvisor,并查询容器 CPU、内存和网络。
  4. 使用 JSON 和 YAML 文件配置服务发现。
  5. 修改 Target 文件并观察自动刷新。
  6. 搭建三节点 Consul Server 集群。
  7. 通过 Consul 注册 node_exporter,并让 Prometheus 自动发现。
  8. 使用 Pushgateway 推送业务指标和 TCP 状态。
  9. 使用 push_time_seconds 检测陈旧指标。
  10. 配置 Blackbox HTTP、TCP 和 ICMP 探测。
  11. 使用 probe_success 创建服务可用性告警。
  12. 部署 VictoriaMetrics 并配置 Prometheus Remote Write。
  13. 使用 Python Client Library 暴露 Counter 和 Summary。
  14. 制作容器数量、业务请求和黑盒可用性 Dashboard。

20. 总结

  • cAdvisor 提供容器资源指标,但需要访问宿主机只读信息。
  • Docker 部署必须持久化配置和数据,不要修改容器内临时文件。
  • 文件服务发现适合由外部系统生成 Target 列表。
  • Consul SD 通过注册中心和健康检查自动发现服务。
  • Consul Agent 注册和注销应针对同一个本地 Agent。
  • Pushgateway 适合短期任务,不适合长期运行服务。
  • 同一分组中的指标会保留到最后一次推送,必须主动清理。
  • 多状态 TCP 指标应设计为一个 Metric 加不同 state 标签。
  • Blackbox 的 up 只表示 Exporter 可抓取,probe_success 才表示目标探测成功。
  • ICMP 需要最小网络能力,不应默认使用完整特权。
  • Remote Write 将本地指标发送到 VictoriaMetrics 等远端存储。
  • Grafana 查询远程数据时,数据源 URL 应指向远程查询端点。
  • 自定义 Exporter 指标名称和标签必须遵循低基数、稳定的设计原则。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!