Prometheus 服务发现、黑盒监控与容器监控
Prometheus 服务发现、黑盒监控与容器监控
1. 监控体系扩展
新增能力:
| 能力 | 作用 |
|---|---|
| cAdvisor | 采集 Docker 容器资源与运行状态 |
| 文件服务发现 | 通过 JSON/YAML 动态维护 Target |
| Consul 服务发现 | 基于注册中心自动发现服务 |
| Pushgateway | 接收短生命周期任务的指标 |
| Blackbox | 从外部探测 HTTP、TCP、ICMP、DNS 等 |
| VictoriaMetrics | 接收 Prometheus 远程写入 |
| Client Library | 在应用内部生成业务指标 |
2. Docker 部署监控组件
2.1 基本原则
- 固定镜像标签,并核对镜像摘要。
- 使用受限端口映射,例如只绑定
127.0.0.1或管理网地址。 - 配置文件和持久化数据使用挂载卷。
- 不把管理门户直接暴露到公网。
- 不使用
latest作为长期生产版本。 - 不默认使用
--network host。
2.2 Docker 版 Prometheus
准备:
sudo install -d -o root -g root /etc/prometheus
docker volume create prometheus-data
运行:
docker run -d \
--name prometheus \
-p 127.0.0.1:9090:9090 \
-v /etc/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml:ro \
-v /etc/prometheus/rules:/etc/prometheus/rules:ro \
-v prometheus-data:/prometheus \
prom/prometheus:v2.53.2 \
--config.file=/etc/prometheus/prometheus.yml \
--storage.tsdb.path=/prometheus \
--web.enable-lifecycle
不要把配置只修改在容器内部。容器重建后这些修改会丢失,也不能被版本管理。
2.3 Docker 版 node_exporter
docker run -d \
--name node-exporter \
-p 127.0.0.1:9100:9100 \
--pid=host \
-v /:/host:ro,rslave \
prom/node-exporter:v1.8.2 \
--path.rootfs=/host
2.4 Docker 版 Grafana
docker volume create grafana-data
docker run -d \
--name grafana \
-p 127.0.0.1:3000:3000 \
-v grafana-data:/var/lib/grafana \
grafana/grafana:11.1.4
首次登录后立即修改管理员密码,并禁止匿名访问。
2.5 Docker 版 Pushgateway 和 Alertmanager
Pushgateway:
docker volume create pushgateway-data
docker run -d \
--name pushgateway \
-p 127.0.0.1:9091:9091 \
-v pushgateway-data:/pushgateway \
prom/pushgateway:v1.9.0 \
--persistence.file=/pushgateway/pushgateway.data \
--persistence.interval=5m
Alertmanager:
docker run -d \
--name alertmanager \
-p 127.0.0.1:9093:9093 \
-v /etc/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml:ro \
prom/alertmanager:v0.27.0 \
--config.file=/etc/alertmanager/alertmanager.yml
远程主机需要访问时,应绑定到受限内网地址并通过防火墙限制来源,而不是直接使用 0.0.0.0 暴露。
3. cAdvisor 容器监控
3.1 作用
cAdvisor 采集:
- 容器 CPU。
- 内存。
- 文件系统。
- 网络。
- 容器生命周期。
- 部分镜像和网络统计。
3.2 运行 cAdvisor
docker run -d \
--name cadvisor \
-p 127.0.0.1:28080:8080 \
-v /:/rootfs:ro \
-v /var/run:/var/run:ro \
-v /sys:/sys:ro \
-v /var/lib/docker:/var/lib/docker:ro \
-v /dev/disk:/dev/disk:ro \
gcr.io/cadvisor/cadvisor:v0.49.1
验证:
curl -s http://127.0.0.1:28080/metrics | head
3.3 权限说明
原资料中的 --privileged 和宿主机网络会扩大容器权限:
--privileged可访问大量宿主机设备和内核能力。- 宿主机网络会共享宿主机网络命名空间。
--device=/dev/kmsg会直接暴露宿主机设备。
优先使用只读挂载和端口映射。如果某个 Collector 必须使用特定能力,应只增加最小 Linux Capability,并经过安全评估。
3.4 Prometheus Job
scrape_configs:
- job_name: cadvisor
metrics_path: /metrics
static_configs:
- targets:
- 192.0.2.211:28080
labels:
service: cadvisor
environment: demo
常见指标:
container_cpu_usage_seconds_total
container_memory_working_set_bytes
container_network_receive_bytes_total
container_fs_usage_bytes
查询时应过滤 pause 容器和非业务容器,并根据 cAdvisor 版本确认标签名称。
3.5 Grafana 模板
原始资料提到的社区模板 ID:
315
10619
导入后检查:
- 指标名称是否匹配。
- 是否排除了 pause 容器。
- 容器数量是否出现小数。
- 实例和容器变量是否正确。
4. 文件服务发现
4.1 Prometheus 配置
scrape_configs:
- job_name: file-sd-json
file_sd_configs:
- files:
- /etc/prometheus/targets/*.json
refresh_interval: 30s
- job_name: file-sd-yaml
file_sd_configs:
- files:
- /etc/prometheus/targets/*.yaml
- /etc/prometheus/targets/*.yml
refresh_interval: 30s
4.2 JSON Target 文件
/etc/prometheus/targets/linux-nodes.json
[
{
"targets": [
"192.0.2.41:9100"
],
"labels": {
"service": "node-exporter",
"environment": "demo",
"site": "site-a"
}
}
]
4.3 YAML Target 文件
/etc/prometheus/targets/app-nodes.yml
- targets:
- 192.0.2.42:9100
- 192.0.2.43:9100
labels:
service: node-exporter
environment: demo
site: site-b
4.4 校验
/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
Target 文件不存在时,promtool 可能只给出 warning;应确保目录、权限和文件名均正确。
文件服务发现适合由 Ansible、CMDB、脚本或发布系统生成 Target 文件。写入时应使用临时文件加原子替换,避免 Prometheus 读到半个 JSON/YAML。
5. Consul 集群
5.1 规划
示例三节点:
| 节点 | 地址 | 角色 |
|---|---|---|
consul-01 | 192.0.2.41:8500 | Server |
consul-02 | 192.0.2.42:8500 | Server |
consul-03 | 192.0.2.43:8500 | Server |
Consul 生产集群应使用奇数 Server 节点,通常从 3 台开始。
5.2 下载
wget "https://releases.hashicorp.com/consul/${CONSUL_VERSION}/consul_${CONSUL_VERSION}_linux_amd64.zip"
unzip "consul_${CONSUL_VERSION}_linux_amd64.zip" -d /usr/local/bin/
consul version
5.3 启动三节点
原资料的 -bootstrap 适合单次实验,不适合长期生产。三节点示例使用 -bootstrap-expect=3:
# consul-01
consul agent \
-server \
-bootstrap-expect=3 \
-bind=192.0.2.41 \
-client=192.0.2.41 \
-data-dir=/var/lib/consul \
-ui
# consul-02
consul agent \
-server \
-bootstrap-expect=3 \
-bind=192.0.2.42 \
-client=192.0.2.42 \
-data-dir=/var/lib/consul \
-ui \
-retry-join=192.0.2.41
# consul-03
consul agent \
-server \
-bootstrap-expect=3 \
-bind=192.0.2.43 \
-client=192.0.2.43 \
-data-dir=/var/lib/consul \
-ui \
-retry-join=192.0.2.41
-client 使用节点内网地址以满足远程 Prometheus 查询,但 8500 必须通过防火墙限制为管理网访问。生产环境应使用 systemd、配置文件、TLS、Gossip 加密和 ACL,不能仅使用上述命令行。
5.4 验证
consul members
consul operator raft list-peers
curl -s http://127.0.0.1:8500/v1/status/leader
服务端之间需要访问:
| 端口 | 协议 | 作用 |
|---|---|---|
8300 | TCP | Server RPC |
8301 | TCP/UDP | LAN Gossip |
8302 | TCP/UDP | WAN Gossip |
8500 | TCP | HTTP API 和 UI |
8600 | TCP/UDP | DNS |
6. Prometheus 使用 Consul 服务发现
6.1 配置
每个 consul_sd_configs 条目通常指定一个可访问的 Consul API 地址,Consul Server 集群会转发查询:
scrape_configs:
- job_name: consul-node-exporters
consul_sd_configs:
- server: 192.0.2.41:8500
token_file: /etc/prometheus/consul-token
services:
- node-exporter
relabel_configs:
- source_labels: [__meta_consul_service]
regex: consul
action: drop
说明:
- 不需要把同一集群的所有 Server 都写成重复的 SD 条目。
- ACL Token 应存入受限文件,不直接写在 YAML。
services可以缩小发现范围。relabel_configs可过滤 Consul 自身服务或不需要的实例。
6.2 注册监控服务
向本地 Consul Agent 注册:
curl -fsS -X PUT \
-H 'Content-Type: application/json' \
--data-binary @node-exporter.json \
http://127.0.0.1:8500/v1/agent/service/register
node-exporter.json:
{
"id": "node-exporter-42",
"name": "node-exporter",
"address": "192.0.2.42",
"port": 9100,
"tags": ["linux", "prometheus"],
"checks": [
{
"name": "node-exporter-metrics",
"http": "http://192.0.2.42:9100/metrics",
"interval": "30s",
"timeout": "5s"
}
]
}
注销:
curl -fsS -X PUT \
http://127.0.0.1:8500/v1/agent/service/deregister/node-exporter-42
6.3 注册与注销的 Agent 关系
/v1/agent/service/register 会把服务注册到接收请求的那一个本地 Agent。注销时应向同一个 Agent 发送请求。
如果不希望依赖某个固定 Agent,可以:
- 在目标节点本地 Agent 上注册和注销。
- 使用 Catalog Registration API。
- 由服务管理平台统一维护生命周期。
6.4 验证
在 Prometheus Targets 页面检查:
- 服务是否被自动发现。
__meta_consul_*标签是否符合预期。- 健康检查是否通过。
- 是否被 relabel 规则错误丢弃。
7. Pushgateway 自定义指标
7.1 适用场景
Pushgateway 适合:
- 短生命周期批处理任务。
- 无法被 Prometheus 直接抓取的脚本。
- 周期性检查任务。
不适合:
- 长期运行服务。
- 高吞吐事件流。
- 多实例向同一分组反复覆盖的数据。
7.2 配置 Prometheus
scrape_configs:
- job_name: pushgateway
honor_labels: true
static_configs:
- targets:
- 192.0.2.32:9091
honor_labels: true 会保留推送指标中的 job、instance 等标签。
7.3 推送指标
printf 'student_online 97\n' | curl -fsS -X PUT \
--data-binary @- \
http://192.0.2.32:9091/metrics/job/student_report/instance/node-a
Pushgateway 的 PUT 会替换同一分组,POST 通常会合并。应根据任务语义明确选择。
7.4 删除旧指标
curl -fsS -X DELETE \
http://192.0.2.32:9091/metrics/job/student_report/instance/node-a
Pushgateway 会保留最后一次推送。长时间不推送不代表指标自动失效,应使用:
- 定时清理。
push_time_seconds检测陈旧数据。- Job 完成时主动删除。
8. 使用 Pushgateway 监控 TCP 状态
8.1 推荐指标设计
使用一个指标和 state 标签表达多个状态:
node_tcp_connections{state="ESTAB"}
不要把 12 种状态设计成 12 个互不相关的指标名,也不要对同一个分组分多次发送同一指标的不同值;后一次可能覆盖前一次。
8.2 Shell 示例
#!/usr/bin/env bash
set -euo pipefail
PUSHGATEWAY=${PUSHGATEWAY:-http://192.0.2.41:9091}
HOST_NAME=${HOST_NAME:-$(hostname)}
{
printf '# HELP node_tcp_connections Current TCP connections by state.\n'
printf '# TYPE node_tcp_connections gauge\n'
ss -Htan |
awk '
NF > 0 {
count[$1]++
}
END {
for (state in count) {
printf "node_tcp_connections{state=\"%s\"} %d\n", state, count[state]
}
}
'
} | curl -fsS -X PUT \
--data-binary @- \
"${PUSHGATEWAY}/metrics/job/tcp_status/instance/${HOST_NAME}"
运行:
chmod 0750 tcp_status.sh
./tcp_status.sh
8.3 查询
node_tcp_connections
node_tcp_connections{state="TIME-WAIT"}
sum by (state) (node_tcp_connections)
ss 输出的状态名称可能为 ESTAB、TIME-WAIT、FIN-WAIT-1 等,应以当前系统实际输出为准。
9. Blackbox 与白盒监控
9.1 区别
| 类型 | 数据来源 | 典型问题 |
|---|---|---|
| 白盒监控 | 服务或主机内部指标 | CPU、队列、延迟、错误率 |
| 黑盒监控 | 从外部主动探测 | 域名、状态码、端口、连通性 |
Blackbox 关注“从用户或调用方视角是否能访问”,不能替代内部资源指标。
9.2 支持的探测
- HTTP/HTTPS。
- TCP。
- ICMP。
- DNS。
- gRPC。
10. 部署 Blackbox Exporter
10.1 运行
blackbox_exporter \
--config.file=/etc/blackbox_exporter/blackbox.yml \
--web.listen-address=127.0.0.1:9115
验证:
curl -s http://127.0.0.1:9115/
10.2 基础模块配置
文件:/etc/blackbox_exporter/blackbox.yml
modules:
http_2xx:
prober: http
timeout: 5s
http:
preferred_ip_protocol: ip4
valid_status_codes:
- 200
tcp_connect:
prober: tcp
timeout: 5s
icmp:
prober: icmp
timeout: 5s
icmp:
preferred_ip_protocol: ip4
ICMP 探测通常需要 CAP_NET_RAW。应只授予该能力,而不是使用完整特权容器。
11. Blackbox HTTP 探测
11.1 Prometheus 配置
scrape_configs:
- job_name: blackbox-http
metrics_path: /probe
params:
module:
- http_2xx
static_configs:
- targets:
- https://www.example.com/
- http://192.0.2.41/
- http://192.0.2.31:9090/
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 192.0.2.32:9115
关键点:
__address__先保存到__param_target。instance改为被探测目标的名称。__address__最终改为 Blackbox Exporter 地址。
11.2 查询
probe_success{job="blackbox-http"}
probe_http_status_code{job="blackbox-http"}
probe_duration_seconds{job="blackbox-http"}
注意:
up只表示 Prometheus 能否抓取 Blackbox Exporter。probe_success才表示被探测目标是否符合模块要求。- 告警通常应基于
probe_success == 0,并配合for避免瞬时抖动。
12. Blackbox ICMP 与 TCP 探测
12.1 ICMP
scrape_configs:
- job_name: blackbox-icmp
metrics_path: /probe
params:
module:
- icmp
static_configs:
- targets:
- 192.0.2.41
- 192.0.2.42
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 192.0.2.32:9115
12.2 TCP
scrape_configs:
- job_name: blackbox-tcp
metrics_path: /probe
params:
module:
- tcp_connect
static_configs:
- targets:
- 192.0.2.41:80
- 192.0.2.42:22
- 192.0.2.31:9090
relabel_configs:
- source_labels: [__address__]
target_label: __param_target
- source_labels: [__param_target]
target_label: instance
- target_label: __address__
replacement: 192.0.2.32:9115
12.3 安全注意
Blackbox 可以访问内网地址,应控制:
- 谁可以修改探测目标。
- Blackbox 所在网络区域。
- 允许探测的端口和域名。
- 探测频率与超时。
- 是否可能被滥用扫描其他系统。
13. VictoriaMetrics 远程存储
13.1 作用
Prometheus 本地 TSDB 保留时间有限,可通过 Remote Write 将指标发送到 VictoriaMetrics:
Prometheus Local TSDB → Remote Write → VictoriaMetrics
本地存储和远程存储可以同时存在。
13.2 运行单节点 VictoriaMetrics
# /etc/systemd/system/victoria-metrics.service
[Unit]
Description=VictoriaMetrics
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=victoria-metrics
Group=victoria-metrics
ExecStart=/usr/local/bin/victoria-metrics-prod \
-httpListenAddr=127.0.0.1:8428 \
-storageDataPath=/var/lib/victoria-metrics \
-retentionPeriod=6
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target
启动:
sudo useradd --system --user-group \
--home /var/lib/victoria-metrics \
--shell /usr/sbin/nologin \
victoria-metrics
sudo install -d -o victoria-metrics -g victoria-metrics \
/var/lib/victoria-metrics
sudo systemctl daemon-reload
sudo systemctl enable --now victoria-metrics
sudo systemctl status victoria-metrics
-retentionPeriod=6 表示保留 6 个月,应根据磁盘容量和写入速率评估。
13.3 Prometheus Remote Write
在顶级配置中增加:
remote_write:
- url: http://192.0.2.32:8428/api/v1/write
remote_timeout: 30s
queue_config:
max_samples_per_send: 5000
max_shards: 16
先校验:
/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
保存后按当前版本要求重启或重载 Prometheus,并确认 Remote Write 队列状态:
prometheus_remote_storage_queue_highest_sent_timestamp_seconds
prometheus_remote_storage_samples_total
具体指标名可能随 Prometheus 版本变化。
13.4 在 VictoriaMetrics 中查询
node_cpu_seconds_total
node_cpu_seconds_total{instance="192.0.2.41:9100"}
VictoriaMetrics 提供兼容 Prometheus 的查询接口,可在 Grafana 中将数据源类型设为 Prometheus,并填写 VictoriaMetrics 地址。
13.5 安全
- 不要明文暴露
/api/v1/write到公网。 - 启用 TLS 和认证/反向代理。
- 生产环境监测 Remote Write 队列、重试和磁盘容量。
- Remote Write 不等于自动高可用,仍需评估多副本、去重和故障切换。
14. Python 自定义 Exporter
14.1 依赖隔离
python3 -m venv /opt/demo-exporter/venv
. /opt/demo-exporter/venv/bin/activate
python -m pip install --upgrade pip
python -m pip install flask prometheus-client
生产环境应锁定依赖版本并验证软件包来源,不要直接使用来源不明的镜像源或未审查脚本。
14.2 示例代码
#!/usr/bin/env python3
import os
from flask import Flask, jsonify
from prometheus_client import Counter, Summary, start_http_server
app = Flask(__name__)
REQUEST_TIME = Summary(
"demo_request_processing_seconds",
"Time spent processing demo requests",
)
REQUEST_COUNT = Counter(
"demo_requests",
"Total demo requests",
)
@app.get("/apps")
@REQUEST_TIME.time()
def apps():
REQUEST_COUNT.inc()
return jsonify({"service": "demo", "status": "ok"})
if __name__ == "__main__":
# 业务端口和指标端口分离
metrics_addr = os.environ.get("METRICS_ADDR", "127.0.0.1")
app_addr = os.environ.get("APP_ADDR", "127.0.0.1")
start_http_server(8000, addr=metrics_addr)
app.run(host=app_addr, port=8001)
验证:
METRICS_ADDR=192.0.2.43 APP_ADDR=192.0.2.43 \
python3 demo_exporter.py
curl -s http://192.0.2.43:8001/apps
curl -s http://192.0.2.43:8000/metrics | grep demo_
14.3 生产说明
- Flask 自带服务器只适合开发测试。
- 业务服务应使用 Gunicorn/uWSGI 等生产服务器。
- 使用 WSGI 服务器时,指标 HTTP Server 需要由独立进程或明确的启动钩子管理,不能依赖当前
__main__分支。 - 指标端口应只允许 Prometheus 访问。
- Counter 名称应表达累计事件,Prometheus 会自动生成
_total后缀。 - 不要使用用户 ID、请求 ID 或时间戳作为标签。
15. Prometheus 采集自定义指标
scrape_configs:
- job_name: demo-python-exporter
metrics_path: /metrics
static_configs:
- targets:
- 192.0.2.43:8000
labels:
service: demo-app
常用查询:
demo_requests_total
rate(demo_requests_total[5m])
increase(demo_requests_total[1m])
rate(demo_request_processing_seconds_sum[5m])
/
rate(demo_request_processing_seconds_count[5m])
最后一条查询计算近期平均请求处理时间,比直接用累计 _sum / _count 更能反映当前趋势。
16. Kubernetes 监控扩展
作业要求统计 Kubernetes 对象数量时,通常需要 kube-state-metrics。
常用指标:
count(kube_node_info)
count(kube_pod_info)
count(kube_service_info)
count(kube_deployment_status_replicas)
count(kube_replicaset_info)
count(kube_replicationcontroller_info)
count(kube_configmap_info)
count(kube_secret_info)
注意:
- 不同 kube-state-metrics 版本的指标名可能不同。
- Secret 指标不应暴露 Secret 内容。
- 容器资源通常来自 cAdvisor/kubelet,而对象状态来自 kube-state-metrics。
- 高对象数量环境下应控制标签和查询范围。
17. 安全与运维要点
17.1 Docker 与 cAdvisor
- 固定镜像 tag 或 digest。
- 尽量使用只读挂载。
- 不使用宿主机网络。
- 不使用完整 privileged,除非有明确、受审批的原因。
- 限制 cAdvisor 管理端口访问。
17.2 服务发现
- Target 文件使用原子写入和校验。
- Consul ACL Token 放在受限文件中。
- Consul 开启 TLS 和 Gossip 加密。
- 只发现需要的服务。
17.3 Pushgateway
- 每个任务使用唯一分组。
- 任务完成时更新或删除指标。
- 监控
push_time_seconds。 - 不把 Pushgateway 作为长期指标总入口。
17.4 Blackbox
- 只允许探测授权目标。
- 限制 ICMP/TCP 频率。
- 不给 Blackbox 完整特权。
- 监控
probe_success和探测耗时。
17.5 Remote Write
- 使用 TLS 和认证。
- 监控队列、重试、延迟和远端磁盘。
- 评估本地与远端保留周期。
- 确保 Grafana 数据源指向正确的查询端点。
18. 常见故障
| 现象 | 可能原因 | 排查方向 |
|---|---|---|
| cAdvisor Target 为 DOWN | 端口、容器或权限问题 | 检查容器日志、端口和 /metrics |
| cAdvisor 缺少部分指标 | 挂载或 Capability 不足 | 查看 cAdvisor 日志和采集器要求 |
| 文件 SD 没有 Target | 目录或文件名不匹配 | 检查 glob、权限和文件内容 |
| 文件 SD 配置报错 | JSON/YAML 格式错误 | 使用解析工具和 promtool |
| Consul Target 不出现 | ACL、健康检查或服务过滤 | 检查 Catalog、健康检查和 relabel |
| Consul UI 无法访问 | -client 监听地址 | 检查 consul members 和端口 |
| Pushgateway 数据被覆盖 | 多个任务使用同一分组 | 使用唯一 job/instance 标签 |
| Pushgateway 数据陈旧 | 任务已停止但指标仍保留 | 查询 push_time_seconds 并清理 |
Blackbox up=1 但目标异常 | up 只表示抓取 Exporter 成功 | 查看 probe_success |
| Blackbox 全部失败 | module 名称或 relabel 错误 | 对照 /probe?target=...&module=... |
| ICMP 失败 | 缺少 CAP_NET_RAW 或网络限制 | 检查容器能力和防火墙 |
| VictoriaMetrics 无数据 | Remote Write 地址或认证错误 | 检查队列指标和远端日志 |
| Grafana 远端无数据 | 数据源仍指向本地 Prometheus | 修改为 VictoriaMetrics 查询地址 |
| Python 指标名不符 | client library 自动添加后缀 | 查看 /metrics 的真实输出 |
19. 综合
- 使用 Docker 部署 Prometheus、node_exporter 和 Grafana。
- 使用只读挂载和受限端口部署 cAdvisor。
- 在 Prometheus 中采集 cAdvisor,并查询容器 CPU、内存和网络。
- 使用 JSON 和 YAML 文件配置服务发现。
- 修改 Target 文件并观察自动刷新。
- 搭建三节点 Consul Server 集群。
- 通过 Consul 注册 node_exporter,并让 Prometheus 自动发现。
- 使用 Pushgateway 推送业务指标和 TCP 状态。
- 使用
push_time_seconds检测陈旧指标。 - 配置 Blackbox HTTP、TCP 和 ICMP 探测。
- 使用
probe_success创建服务可用性告警。 - 部署 VictoriaMetrics 并配置 Prometheus Remote Write。
- 使用 Python Client Library 暴露 Counter 和 Summary。
- 制作容器数量、业务请求和黑盒可用性 Dashboard。
20. 总结
- cAdvisor 提供容器资源指标,但需要访问宿主机只读信息。
- Docker 部署必须持久化配置和数据,不要修改容器内临时文件。
- 文件服务发现适合由外部系统生成 Target 列表。
- Consul SD 通过注册中心和健康检查自动发现服务。
- Consul Agent 注册和注销应针对同一个本地 Agent。
- Pushgateway 适合短期任务,不适合长期运行服务。
- 同一分组中的指标会保留到最后一次推送,必须主动清理。
- 多状态 TCP 指标应设计为一个 Metric 加不同
state标签。 - Blackbox 的
up只表示 Exporter 可抓取,probe_success才表示目标探测成功。 - ICMP 需要最小网络能力,不应默认使用完整特权。
- Remote Write 将本地指标发送到 VictoriaMetrics 等远端存储。
- Grafana 查询远程数据时,数据源 URL 应指向远程查询端点。
- 自定义 Exporter 指标名称和标签必须遵循低基数、稳定的设计原则。