Prometheus 告警管理与 Kubernetes 监控
Prometheus 告警管理与 Kubernetes 监控
1. 告警链路
职责:
| 组件 | 作用 |
|---|---|
| Prometheus | 评估规则,生成 firing/resolved 告警 |
| Alertmanager | 去重、分组、抑制、静默和发送通知 |
| Grafana | 查询指标、展示历史和可视化 |
Prometheus 不直接发送邮件,通知路由由 Alertmanager 完成。
2. 告警生命周期
| 状态 | 含义 |
|---|---|
| Inactive | 规则表达式未满足 |
| Pending | 已满足,但未达到 for 持续时间 |
| Firing | 持续满足并正式触发 |
| Resolved | 条件恢复,Alertmanager 可发送恢复通知 |
示例:
expr: up{job="node-exporters"} == 0
for: 2m
表达式成立 2 分钟后才进入 Firing,可过滤瞬时网络抖动。
3. 部署 Alertmanager
3.1 创建用户与目录
sudo useradd --system --user-group \
--home /var/lib/alertmanager \
--shell /usr/sbin/nologin \
alertmanager
sudo install -d -o root -g alertmanager -m 0750 /etc/alertmanager
sudo install -d -o alertmanager -g alertmanager -m 0750 /var/lib/alertmanager
sudo install -d /opt/alertmanager
3.2 安装二进制
wget "https://github.com/prometheus/alertmanager/releases/download/v${ALERTMANAGER_VERSION}/alertmanager-${ALERTMANAGER_VERSION}.linux-amd64.tar.gz"
tar xf "alertmanager-${ALERTMANAGER_VERSION}.linux-amd64.tar.gz"
sudo install -m 0755 \
"alertmanager-${ALERTMANAGER_VERSION}.linux-amd64/alertmanager" \
/opt/alertmanager/alertmanager
sudo install -m 0755 \
"alertmanager-${ALERTMANAGER_VERSION}.linux-amd64/amtool" \
/opt/alertmanager/amtool
3.3 systemd
文件:/etc/systemd/system/alertmanager.service
[Unit]
Description=Prometheus Alertmanager
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=alertmanager
Group=alertmanager
ExecStart=/opt/alertmanager/alertmanager \
--config.file=/etc/alertmanager/alertmanager.yml \
--storage.path=/var/lib/alertmanager \
--web.listen-address=127.0.0.1:9093
Restart=on-failure
RestartSec=5s
[Install]
WantedBy=multi-user.target
启动:
sudo systemctl daemon-reload
sudo systemctl enable --now alertmanager
sudo systemctl status alertmanager
sudo journalctl -u alertmanager -f
验证:
curl -s http://127.0.0.1:9093/-/ready
curl -s http://127.0.0.1:9093/-/healthy
Alertmanager Web UI:
http://127.0.0.1:9093/
需要远程访问时,应通过受限内网、反向代理、TLS 和身份认证,不要直接公开 9093。
4. 安全配置 SMTP
4.1 密码文件
不要在 YAML 中写入 SMTP 授权码。创建密码文件:
sudo install -m 0640 -o root -g alertmanager \
/dev/null /etc/alertmanager/smtp-password
# 由操作员使用安全输入方式写入密码
sudo vi /etc/alertmanager/smtp-password
密码文件只保留密码本身,不要加入引号和多余额外字符。
4.2 Alertmanager 配置
文件:/etc/alertmanager/alertmanager.yml
global:
resolve_timeout: 5m
smtp_from: "alerts@example.com"
smtp_smarthost: "smtp.example.com:587"
smtp_auth_username: "alerts@example.com"
smtp_auth_password_file: "/etc/alertmanager/smtp-password"
smtp_require_tls: true
smtp_hello: "example.com"
templates:
- /etc/alertmanager/templates/*.tmpl
route:
receiver: email-default
group_by:
- alertname
- cluster
- instance
group_wait: 30s
group_interval: 5m
repeat_interval: 4h
routes:
- matchers:
- severity="critical"
receiver: email-critical
group_wait: 10s
repeat_interval: 1h
receivers:
- name: email-default
email_configs:
- to: "oncall@example.com"
send_resolved: true
html: '{{ template "demo.email" . }}'
- name: email-critical
email_configs:
- to: "critical-oncall@example.com"
send_resolved: true
html: '{{ template "demo.email" . }}'
inhibit_rules:
- source_matchers:
- severity="critical"
target_matchers:
- severity="warning"
equal:
- alertname
- instance
说明:
- 示例端口
587通常使用 STARTTLS。 - 如果邮件服务商只支持其他端口或隐式 TLS,应按服务商文档修改,不要盲目关闭 TLS。
- 收件地址和发件地址使用组织邮箱,真实凭据存入密码文件或密钥系统。
- 当前 Alertmanager 使用
matchers、source_matchers和target_matchers,旧式match字段已逐步弃用。
5. 路由与分组
5.1 分组
group_by 决定哪些告警被合并到同一个通知:
alertname:同一类告警合并。cluster:按集群区分。instance:按实例区分。
分组过细会产生大量通知;分组过粗可能隐藏重要上下文。
5.2 时间参数
| 参数 | 作用 |
|---|---|
group_wait | 新分组首次通知前等待多久,便于收集同类告警 |
group_interval | 同一分组新增告警后,两次通知的最小间隔 |
repeat_interval | 未恢复告警重复通知的间隔 |
resolve_timeout | 多久没有收到告警后视为已解决 |
5.3 子路由
子路由通过 matchers 匹配标签:
routes:
- matchers:
- severity="critical"
- team="platform"
receiver: email-critical
路由按树形结构匹配。需要让告警继续匹配后续同级路由时,可设置 continue: true,但应避免同一告警被重复发送多次。
6. 告警抑制
抑制用于在一个高阶故障存在时屏蔽低阶重复告警。
示例:
inhibit_rules:
- source_matchers:
- alertname="NodeDown"
- severity="critical"
target_matchers:
- severity="warning"
equal:
- instance
- cluster
含义:当同一 instance 和 cluster 存在 NodeDown 严重告警时,抑制对应警告级告警。
注意:
equal标签必须存在于源和目标告警中,否则抑制可能不符合预期。- 标签设计要稳定且可关联。
- 抑制不应隐藏与源故障无关的告警。
7. Prometheus 连接 Alertmanager
在 prometheus.yml 中增加:
alerting:
alertmanagers:
- static_configs:
- targets:
- 192.0.2.32:9093
rule_files:
- /etc/prometheus/rules/*.yml
生产环境如果 Alertmanager 启用 TLS 或反向代理,还应配置证书、认证和正确地址。
校验:
/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
curl -X POST http://127.0.0.1:9090/-/reload
在 Prometheus 页面检查:
http://127.0.0.1:9090/status
http://127.0.0.1:9090/alerts
8. Prometheus 告警规则
文件:/etc/prometheus/rules/node-alerts.yml
groups:
- name: node-alerts
rules:
- alert: NodeExporterDown
expr: up{job="node-exporters"} == 0
for: 2m
labels:
severity: critical
team: platform
annotations:
summary: "节点监控不可用"
description: "{{ $labels.instance }} 已连续 2 分钟无法被抓取。"
value: "{{ $value }}"
- alert: HighCpuUsage
expr: |
100 * (
1 -
avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
)
) > 85
for: 10m
labels:
severity: warning
team: platform
annotations:
summary: "CPU 使用率过高"
description: "{{ $labels.instance }} CPU 使用率已超过 85%。"
value: "{{ $value }}"
关键点:
- Prometheus 模板变量使用
$labels.<label>和$value。 - 不要写成
.instance或.value。 for用于避免抖动。severity、team、cluster等标签应形成统一定义。
校验:
/opt/prometheus/promtool check rules \
/etc/prometheus/rules/node-alerts.yml
9. Alertmanager 邮件模板
9.1 模板文件
/etc/alertmanager/templates/email.tmpl
{{ define "demo.email" }}
<!doctype html>
<html lang="zh-CN">
<head>
<meta charset="utf-8">
<title>Prometheus Alert</title>
</head>
<body>
<h2>
{{ if eq .Status "firing" }}告警触发{{ else }}告警恢复{{ end }}
</h2>
<p>状态:{{ .Status }}</p>
<p>Alertmanager:{{ .ExternalURL }}</p>
<table border="1" cellpadding="6" cellspacing="0">
<thead>
<tr>
<th>告警名称</th>
<th>实例</th>
<th>级别</th>
<th>摘要</th>
<th>开始时间</th>
<th>结束时间</th>
</tr>
</thead>
<tbody>
{{ range .Alerts }}
<tr>
<td>{{ index .Labels "alertname" }}</td>
<td>{{ index .Labels "instance" }}</td>
<td>{{ index .Labels "severity" }}</td>
<td>{{ index .Annotations "summary" }}</td>
<td>{{ .StartsAt }}</td>
<td>{{ .EndsAt }}</td>
</tr>
{{ end }}
</tbody>
</table>
</body>
</html>
{{ end }}
9.2 加载模板
templates:
- /etc/alertmanager/templates/*.tmpl
receivers:
- name: email-default
email_configs:
- to: "oncall@example.com"
send_resolved: true
html: '{{ template "demo.email" . }}'
Go 模板可访问:
.Alerts:告警列表。.Labels:告警标签。.Annotations:告警注解。.Status:firing 或 resolved。.StartsAt、.EndsAt:起止时间。.ExternalURL:Alertmanager 地址。
不要在模板中嵌入未经校验的外部脚本。
10. 告警配置校验与测试
10.1 校验
/opt/alertmanager/amtool check-config \
/etc/alertmanager/alertmanager.yml
10.2 查看活动告警
curl -s http://127.0.0.1:9093/api/v2/alerts | jq
10.3 创建静默
/opt/alertmanager/amtool \
--alertmanager.url=http://127.0.0.1:9093 \
silence add alertname=NodeExporterDown \
--duration=2h \
--comment="planned maintenance"
静默必须设置结束时间,并记录原因和审批人。
10.4 触发测试告警
可以临时停止测试节点的 node_exporter,等待规则超过 for 时间,检查:
- Prometheus Alerts 页面。
- Alertmanager Alerts 页面。
- SMTP 邮件。
- 恢复后是否发送 resolved 通知。
11. kube-prometheus 概览
kube-prometheus 使用 Prometheus Operator 管理 Kubernetes 监控组件。
常见组件:
| 组件 | 作用 |
|---|---|
| Prometheus Operator | 监听 CR,生成并更新 Prometheus/Alertmanager 配置 |
| Prometheus | 指标采集、存储和规则评估 |
| Alertmanager | 告警路由 |
| Grafana | 可视化 |
| node_exporter | 节点指标 |
| kube-state-metrics | Kubernetes 对象状态 |
| blackbox-exporter | 黑盒探测 |
| prometheus-adapter | 将指标提供给 Kubernetes Metrics API |
11.1 核心 CR
| CR | 作用 |
|---|---|
Prometheus | 定义 Prometheus 实例、存储、副本和选择器 |
Alertmanager | 定义 Alertmanager 集群和配置 |
ServiceMonitor | 按 Service 发现采集目标 |
PodMonitor | 按 Pod 发现采集目标 |
PrometheusRule | 定义 Prometheus 规则 |
Operator 会根据这些资源自动生成原生 Kubernetes 资源和 Prometheus 配置。
12. 安装 kube-prometheus
12.1 选择版本
先核对目标版本与 Kubernetes 版本兼容性。资料中的 v0.11.0 较旧,新集群不应直接照搬。
KUBE_PROMETHEUS_TAG=v0.11.0
KUBE_PROMETHEUS_DIR=kube-prometheus-0.11.0
wget "https://github.com/prometheus-operator/kube-prometheus/archive/refs/tags/${KUBE_PROMETHEUS_TAG}.tar.gz"
tar xf "${KUBE_PROMETHEUS_TAG}.tar.gz"
cd "${KUBE_PROMETHEUS_DIR}"
12.2 镜像
使用官方镜像或组织审核过的镜像仓库,固定 tag/digest。不要依赖来源不明的个人镜像标签。
旧版清单中的 k8s.gcr.io 已被新的官方镜像仓库替代,必要时应根据项目兼容文档替换镜像地址。
12.3 应用清单
kubectl apply --server-side -f manifests/setup
kubectl wait \
--for condition=Established \
--all CustomResourceDefinition \
--namespace=monitoring
kubectl apply -f manifests/
查看:
kubectl get pods -n monitoring -o wide
kubectl get svc -n monitoring
kubectl get prometheus,alertmanager -n monitoring
12.4 版本适配
不要只修改镜像 tag 来跨越大版本升级。Operator、CRD、Prometheus、Grafana 和 Kubernetes 之间存在兼容矩阵,应按官方升级路径执行。
13. Kubernetes 监控组件
13.1 node_exporter
通常使用 DaemonSet,在每个节点运行一个 Pod,采集:
- CPU、内存、磁盘、网络。
- 文件系统。
- 系统负载。
- 节点启动时间。
13.2 kube-state-metrics
监控 Kubernetes 对象状态,而不是容器资源本身:
- Node。
- Pod。
- Deployment。
- ReplicaSet。
- Service。
- ConfigMap。
- Secret 数量和元数据。
常用查询:
count(kube_node_info)
count(kube_pod_info)
count(kube_service_info)
count(kube_deployment_status_replicas)
count(kube_replicaset_info)
count(kube_configmap_info)
count(kube_secret_info)
13.3 kubelet 与 cAdvisor
容器 CPU、内存和网络指标通常由 kubelet 内置 cAdvisor 端点或单独的 cAdvisor 提供。
13.4 控制面
根据集群部署方式监控:
- kube-apiserver。
- kube-scheduler。
- kube-controller-manager。
- etcd。
14. Kubernetes 访问与安全
14.1 访问方式
优先使用:
kubectl -n monitoring port-forward \
svc/prometheus-k8s 9090:9090
kubectl -n monitoring port-forward \
svc/grafana 3000:3000
生产环境可通过 Ingress 访问,但必须增加认证、TLS、网络策略和访问审计。
14.2 NodePort 风险
把 Prometheus 和 Grafana 直接暴露为 NodePort 会扩大攻击面。如无必要,不要使用公网可达的 NodePort。
14.3 Secret
- Alertmanager SMTP、Webhook Token 和 etcd 客户端私钥都存入 Kubernetes Secret。
- 不在 YAML 清单和 Git 中保存明文密码。
- 使用 External Secrets、Sealed Secrets 或组织密钥平台。
- 限制 Secret 的 RBAC 读取权限。
15. Kubernetes 常见排错
kubectl get pods -n monitoring -o wide
kubectl get events -n monitoring --sort-by=.lastTimestamp
kubectl describe pod -n monitoring <POD_NAME>
kubectl logs -n monitoring <POD_NAME> -c <CONTAINER_NAME>
kubectl get svc -A
kubectl get endpoints -n monitoring
kubectl get endpointslices -A
常见问题:
| 现象 | 排查方向 |
|---|---|
| Pod 为 ImagePullBackOff | 镜像地址、凭据、网络和节点架构 |
| Pod 一直 Pending | 资源、污点、亲和性、PV |
| Pod Running 但服务不可访问 | Service selector、Endpoints、容器端口、网络策略 |
| CRD 未建立 | manifests/setup、权限和 API Server |
| ServiceMonitor 未生效 | 标签选择器、命名空间选择器、端口名称 |
| Target 为 DOWN | Service、Endpoint、TLS 和网络策略 |
| 一直 Terminating | Finalizer、节点状态、存储和控制器 |
| NodePort 冲突 | kubectl get svc -A 和端口规划 |
| CNI 异常 | CNI Pod 日志、路由和节点网络 |
16. ServiceMonitor 与 PodMonitor
16.1 ServiceMonitor
按 Service 发现 Endpoint:
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: demo-app
namespace: monitoring
spec:
namespaceSelector:
matchNames:
- demo
selector:
matchLabels:
app.kubernetes.io/name: demo-app
endpoints:
- port: metrics
path: /metrics
interval: 30s
要求:
- Service 有带
metrics名称的端口。 - Service 的 Label 与
selector.matchLabels匹配。 - Service 能关联到 Endpoint。
- Prometheus CR 的
serviceMonitorSelector和命名空间选择器接受该资源。
16.2 PodMonitor
无需 Service,直接选择 Pod:
apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
name: demo-pods
namespace: monitoring
spec:
namespaceSelector:
matchNames:
- demo
selector:
matchLabels:
app.kubernetes.io/name: demo-app
podMetricsEndpoints:
- port: metrics
path: /metrics
适合每个 Pod 都有指标端口、但没有稳定 Service 的场景。
17. PrometheusRule
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: demo-alerts
namespace: monitoring
labels:
release: prometheus
spec:
groups:
- name: demo-alerts
rules:
- alert: DemoAppDown
expr: up{job="demo-app"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: "Demo 应用不可用"
description: "{{ $labels.instance }} 已连续 2 分钟不可用。"
Prometheus CR 必须选择包含该 PrometheusRule 的规则选择器,Operator 才会将其合并到最终配置。
18. 外部 Prometheus 监控 Kubernetes 节点
18.1 node_exporter DaemonSet
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: external-node-exporter
namespace: monitoring
spec:
selector:
matchLabels:
app: external-node-exporter
template:
metadata:
labels:
app: external-node-exporter
spec:
hostNetwork: true
hostPID: true
tolerations:
- operator: Exists
containers:
- name: node-exporter
image: prom/node-exporter:v1.8.2
args:
- --path.rootfs=/host
- --web.listen-address=:19100
securityContext:
readOnlyRootFilesystem: true
volumeMounts:
- name: root
mountPath: /host
mountPropagation: HostToContainer
readOnly: true
volumes:
- name: root
hostPath:
path: /
要点:
hostNetwork让端口直接暴露在宿主节点。- 使用非默认
19100避免与已有9100冲突。 hostPID和/host挂载用于采集主机指标。tolerations: operator: Exists允许调度到控制面节点,生产环境应确认权限边界。- 不需要默认为容器增加 full privileged。
18.2 外部 Prometheus Job
scrape_configs:
- job_name: k8s-nodes
static_configs:
- targets:
- 192.0.2.231:19100
- 192.0.2.232:19100
- 192.0.2.233:19100
labels:
cluster: demo-k8s
environment: demo
验证:
curl -s http://192.0.2.231:19100/metrics | head
Pod 在 K8s 内启动时,external Prometheus 的 Target 必须使用节点 IP,而不是 Pod IP。
19. 监控 etcd
19.1 检查证书和 Metrics 接口
从 etcd 静态 Pod Manifest 获取真实证书路径:
sudo grep -E -- '--(cert|key|trusted-ca)-file' \
/etc/kubernetes/manifests/etcd.yaml
测试:
curl -s \
--cacert /etc/kubernetes/pki/etcd/ca.crt \
--cert /path/to/etcd-client.crt \
--key /path/to/etcd-client.key \
https://192.0.2.231:2379/metrics \
| tail
不要使用 -k 跳过证书校验,也不要将 etcd 私钥写入公开文件。
19.2 创建 Service 与 Endpoint
apiVersion: v1
kind: Endpoints
metadata:
name: etcd-metrics
namespace: kube-system
subsets:
- addresses:
- ip: 192.0.2.231
ports:
- name: https-metrics
port: 2379
protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
name: etcd-metrics
namespace: kube-system
labels:
app: etcd
spec:
type: ClusterIP
ports:
- name: https-metrics
port: 2379
targetPort: 2379
Endpoints 在新版本 Kubernetes 中逐步由 EndpointSlice 承载。若集群不再支持手动 Endpoints,应使用兼容的 EndpointSlice 或标准 API 方案。
19.3 创建客户端证书 Secret
使用由 etcd CA 签发的专用监控客户端证书:
kubectl -n monitoring create secret generic etcd-client-tls \
--from-file=ca.crt=/path/to/etcd-ca.crt \
--from-file=client.crt=/path/to/etcd-client.crt \
--from-file=client.key=/path/to/etcd-client.key
不要把 Secret 明文提交到 Git。
19.4 让 Prometheus 挂载 Secret
编辑 Prometheus CR:
kubectl -n monitoring edit prometheus k8s
在 spec 中增加:
secrets:
- etcd-client-tls
不要用简单数组覆盖的方式误删已有的其他 Secret。修改后 Operator 会滚动更新 Prometheus Pod。
检查:
kubectl -n monitoring get pods \
-l app.kubernetes.io/name=prometheus
kubectl -n monitoring exec \
prometheus-k8s-0 -c prometheus -- \
ls -l /etc/prometheus/secrets/etcd-client-tls
19.5 创建 etcd ServiceMonitor
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: etcd-metrics
namespace: monitoring
spec:
namespaceSelector:
matchNames:
- kube-system
selector:
matchLabels:
app: etcd
endpoints:
- port: https-metrics
scheme: https
path: /metrics
interval: 30s
scrapeTimeout: 10s
tlsConfig:
caFile: /etc/prometheus/secrets/etcd-client-tls/ca.crt
certFile: /etc/prometheus/secrets/etcd-client-tls/client.crt
keyFile: /etc/prometheus/secrets/etcd-client-tls/client.key
insecureSkipVerify: false
确保 Prometheus CR 的 serviceMonitorSelector 和 serviceMonitorNamespaceSelector 能选中该资源。
19.6 验证 Target
kubectl -n monitoring get servicemonitor etcd-metrics
kubectl -n monitoring port-forward \
svc/prometheus-k8s 9090:9090
浏览器访问:
http://127.0.0.1:9090/targets
重点指标:
etcd_server_has_leader
etcd_server_leader_changes_seen_total
etcd_disk_backend_commit_duration_seconds
etcd_disk_wal_fsync_duration_seconds
etcd_network_peer_round_trip_time_seconds
19.7 etcd 告警示例
apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
name: etcd-alerts
namespace: monitoring
spec:
groups:
- name: etcd-alerts
rules:
- alert: EtcdNoLeader
expr: etcd_server_has_leader == 0
for: 5m
labels:
severity: critical
annotations:
summary: "etcd 没有 Leader"
description: "{{ $labels.instance }} 已连续 5 分钟没有 Leader。"
- alert: EtcdHighFsyncLatency
expr: |
histogram_quantile(
0.99,
sum by (le, instance) (
rate(etcd_disk_wal_fsync_duration_seconds_bucket[5m])
)
) > 0.5
for: 10m
labels:
severity: warning
annotations:
summary: "etcd WAL fsync 延迟过高"
description: "{{ $labels.instance }} 的 P99 fsync 延迟超过 500ms。"
阈值必须结合磁盘、节点和业务压测结果调整。
20. Grafana 多数据源
Grafana 可以同时配置:
- 原始 Prometheus。
- Kubernetes 内 Prometheus。
- VictoriaMetrics。
- 多个集群的 Prometheus。
建议:
- 数据源名称包含集群和环境。
- 使用只读访问凭据。
- Dashboard 变量区分
cluster、job和instance。 - 同一面板不要混用不兼容的指标版本。
- 导入社区模板后检查指标名称和数据源。
21. Kubernetes 巡检扩展
巡检脚本可检查:
- 控制面 Pod 是否正常。
- Worker 节点 Ready 状态。
- 节点污点和列表。
- CNI Pod 和节点网络。
- 默认 StorageClass。
- 未调度 Pod。
- 高重启 Pod。
- Pending PVC。
- Service 无 Endpoint。
- 告警和 Target 异常。
常用命令:
kubectl get nodes
kubectl get pods -A -o wide
kubectl get events -A --sort-by=.lastTimestamp
kubectl get storageclass
kubectl get pvc -A
kubectl get endpoints -A
kubectl get --raw='/readyz?verbose'
巡检结果应包含证据和资源名称,不能只输出“异常”或“正常”。
22. 综合
- 部署 Alertmanager,并使用 systemd 管理。
- 使用密码文件配置 SMTP,不在 YAML 中存放密码。
- 创建默认路由和 critical 子路由。
- 配置 critical 对 warning 的抑制规则。
- 创建 node_exporter 离线告警。
- 自定义 HTML 邮件模板并触发、恢复一次告警。
- 使用
amtool校验配置和创建静默。 - 根据 Kubernetes 版本安装兼容的 kube-prometheus。
- 检查 Operator、Prometheus、Alertmanager、Grafana 组件状态。
- 创建 ServiceMonitor 和 PrometheusRule。
- 使用外部 Prometheus 抓取 K8s 节点的 node_exporter。
- 为 etcd 创建 TLS Secret、Service 和 ServiceMonitor。
- 验证 etcd Target 和核心指标。
- 创建一个 etcd Leader 或延迟告警。
23. 总结
- Prometheus 只评估规则,Alertmanager 负责通知处理。
for控制告警从 Pending 进入 Firing 的时间。- 路由决定接收者,分组决定通知聚合,抑制决定哪些告警被屏蔽。
- SMTP 密码应使用受限密码文件或 Secret。
- Prometheus 规则模板使用
$labels和$value。 - kube-prometheus 通过 CRD 自动管理 Prometheus 和 Alertmanager。
- ServiceMonitor 按 Service 发现 Target,PodMonitor 直接选择 Pod。
- ServiceMonitor 无效果时先检查标签、命名空间和 Prometheus 选择器。
- 外部 Prometheus 监控 K8s 节点时使用节点 IP 和 hostNetwork 端口。
- etcd 监控必须使用正确的 CA、证书和私钥,不要跳过 TLS 校验。
- Kubernetes 管理界面和 NodePort 应通过认证、TLS 和网络策略保护。