0
0

Prometheus 告警管理与 Kubernetes 监控

2026-11-02
Prometheus 告警管理与 Kubernetes 监控

Prometheus 告警管理与 Kubernetes 监控

1. 告警链路

Exporter / Metrics
Prometheus
Alerting Rules
Alertmanager
Email / Webhook / IM
Grafana

职责:

组件作用
Prometheus评估规则,生成 firing/resolved 告警
Alertmanager去重、分组、抑制、静默和发送通知
Grafana查询指标、展示历史和可视化

Prometheus 不直接发送邮件,通知路由由 Alertmanager 完成。

2. 告警生命周期

状态含义
Inactive规则表达式未满足
Pending已满足,但未达到 for 持续时间
Firing持续满足并正式触发
Resolved条件恢复,Alertmanager 可发送恢复通知

示例:

expr: up{job="node-exporters"} == 0
for: 2m

表达式成立 2 分钟后才进入 Firing,可过滤瞬时网络抖动。

3. 部署 Alertmanager

3.1 创建用户与目录

sudo useradd --system --user-group \
  --home /var/lib/alertmanager \
  --shell /usr/sbin/nologin \
  alertmanager

sudo install -d -o root -g alertmanager -m 0750 /etc/alertmanager
sudo install -d -o alertmanager -g alertmanager -m 0750 /var/lib/alertmanager
sudo install -d /opt/alertmanager

3.2 安装二进制

wget "https://github.com/prometheus/alertmanager/releases/download/v${ALERTMANAGER_VERSION}/alertmanager-${ALERTMANAGER_VERSION}.linux-amd64.tar.gz"

tar xf "alertmanager-${ALERTMANAGER_VERSION}.linux-amd64.tar.gz"

sudo install -m 0755 \
  "alertmanager-${ALERTMANAGER_VERSION}.linux-amd64/alertmanager" \
  /opt/alertmanager/alertmanager

sudo install -m 0755 \
  "alertmanager-${ALERTMANAGER_VERSION}.linux-amd64/amtool" \
  /opt/alertmanager/amtool

3.3 systemd

文件:/etc/systemd/system/alertmanager.service

[Unit]
Description=Prometheus Alertmanager
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=alertmanager
Group=alertmanager

ExecStart=/opt/alertmanager/alertmanager \
  --config.file=/etc/alertmanager/alertmanager.yml \
  --storage.path=/var/lib/alertmanager \
  --web.listen-address=127.0.0.1:9093

Restart=on-failure
RestartSec=5s

[Install]
WantedBy=multi-user.target

启动:

sudo systemctl daemon-reload
sudo systemctl enable --now alertmanager
sudo systemctl status alertmanager
sudo journalctl -u alertmanager -f

验证:

curl -s http://127.0.0.1:9093/-/ready
curl -s http://127.0.0.1:9093/-/healthy

Alertmanager Web UI:

http://127.0.0.1:9093/

需要远程访问时,应通过受限内网、反向代理、TLS 和身份认证,不要直接公开 9093。

4. 安全配置 SMTP

4.1 密码文件

不要在 YAML 中写入 SMTP 授权码。创建密码文件:

sudo install -m 0640 -o root -g alertmanager \
  /dev/null /etc/alertmanager/smtp-password

# 由操作员使用安全输入方式写入密码
sudo vi /etc/alertmanager/smtp-password

密码文件只保留密码本身,不要加入引号和多余额外字符。

4.2 Alertmanager 配置

文件:/etc/alertmanager/alertmanager.yml

global:
  resolve_timeout: 5m

  smtp_from: "alerts@example.com"
  smtp_smarthost: "smtp.example.com:587"
  smtp_auth_username: "alerts@example.com"
  smtp_auth_password_file: "/etc/alertmanager/smtp-password"
  smtp_require_tls: true
  smtp_hello: "example.com"

templates:
  - /etc/alertmanager/templates/*.tmpl

route:
  receiver: email-default
  group_by:
    - alertname
    - cluster
    - instance

  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h

  routes:
    - matchers:
        - severity="critical"
      receiver: email-critical
      group_wait: 10s
      repeat_interval: 1h

receivers:
  - name: email-default
    email_configs:
      - to: "oncall@example.com"
        send_resolved: true
        html: '{{ template "demo.email" . }}'

  - name: email-critical
    email_configs:
      - to: "critical-oncall@example.com"
        send_resolved: true
        html: '{{ template "demo.email" . }}'

inhibit_rules:
  - source_matchers:
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal:
      - alertname
      - instance

说明:

  • 示例端口 587 通常使用 STARTTLS。
  • 如果邮件服务商只支持其他端口或隐式 TLS,应按服务商文档修改,不要盲目关闭 TLS。
  • 收件地址和发件地址使用组织邮箱,真实凭据存入密码文件或密钥系统。
  • 当前 Alertmanager 使用 matchers、source_matchers 和 target_matchers,旧式 match 字段已逐步弃用。

5. 路由与分组

5.1 分组

group_by 决定哪些告警被合并到同一个通知:

  • alertname:同一类告警合并。
  • cluster:按集群区分。
  • instance:按实例区分。

分组过细会产生大量通知;分组过粗可能隐藏重要上下文。

5.2 时间参数

参数作用
group_wait新分组首次通知前等待多久,便于收集同类告警
group_interval同一分组新增告警后,两次通知的最小间隔
repeat_interval未恢复告警重复通知的间隔
resolve_timeout多久没有收到告警后视为已解决

5.3 子路由

子路由通过 matchers 匹配标签:

routes:
  - matchers:
      - severity="critical"
      - team="platform"
    receiver: email-critical

路由按树形结构匹配。需要让告警继续匹配后续同级路由时,可设置 continue: true,但应避免同一告警被重复发送多次。

6. 告警抑制

抑制用于在一个高阶故障存在时屏蔽低阶重复告警。

示例:

inhibit_rules:
  - source_matchers:
      - alertname="NodeDown"
      - severity="critical"
    target_matchers:
      - severity="warning"
    equal:
      - instance
      - cluster

含义:当同一 instance 和 cluster 存在 NodeDown 严重告警时,抑制对应警告级告警。

注意:

  • equal 标签必须存在于源和目标告警中,否则抑制可能不符合预期。
  • 标签设计要稳定且可关联。
  • 抑制不应隐藏与源故障无关的告警。

7. Prometheus 连接 Alertmanager

在 prometheus.yml 中增加:

alerting:
  alertmanagers:
    - static_configs:
        - targets:
            - 192.0.2.32:9093

rule_files:
  - /etc/prometheus/rules/*.yml

生产环境如果 Alertmanager 启用 TLS 或反向代理,还应配置证书、认证和正确地址。

校验:

/opt/prometheus/promtool check config /etc/prometheus/prometheus.yml
curl -X POST http://127.0.0.1:9090/-/reload

在 Prometheus 页面检查:

http://127.0.0.1:9090/status
http://127.0.0.1:9090/alerts

8. Prometheus 告警规则

文件:/etc/prometheus/rules/node-alerts.yml

groups:
  - name: node-alerts
    rules:
      - alert: NodeExporterDown
        expr: up{job="node-exporters"} == 0
        for: 2m
        labels:
          severity: critical
          team: platform
        annotations:
          summary: "节点监控不可用"
          description: "{{ $labels.instance }} 已连续 2 分钟无法被抓取。"
          value: "{{ $value }}"

      - alert: HighCpuUsage
        expr: |
          100 * (
            1 -
            avg by (instance) (
              rate(node_cpu_seconds_total{mode="idle"}[5m])
            )
          ) > 85
        for: 10m
        labels:
          severity: warning
          team: platform
        annotations:
          summary: "CPU 使用率过高"
          description: "{{ $labels.instance }} CPU 使用率已超过 85%。"
          value: "{{ $value }}"

关键点:

  • Prometheus 模板变量使用 $labels.<label> 和 $value。
  • 不要写成 .instance 或 .value。
  • for 用于避免抖动。
  • severity、team、cluster 等标签应形成统一定义。

校验:

/opt/prometheus/promtool check rules \
  /etc/prometheus/rules/node-alerts.yml

9. Alertmanager 邮件模板

9.1 模板文件

/etc/alertmanager/templates/email.tmpl

{{ define "demo.email" }}
<!doctype html>
<html lang="zh-CN">
  <head>
    <meta charset="utf-8">
    <title>Prometheus Alert</title>
  </head>
  <body>
    <h2>
      {{ if eq .Status "firing" }}告警触发{{ else }}告警恢复{{ end }}
    </h2>

    <p>状态:{{ .Status }}</p>
    <p>Alertmanager:{{ .ExternalURL }}</p>

    <table border="1" cellpadding="6" cellspacing="0">
      <thead>
        <tr>
          <th>告警名称</th>
          <th>实例</th>
          <th>级别</th>
          <th>摘要</th>
          <th>开始时间</th>
          <th>结束时间</th>
        </tr>
      </thead>
      <tbody>
        {{ range .Alerts }}
        <tr>
          <td>{{ index .Labels "alertname" }}</td>
          <td>{{ index .Labels "instance" }}</td>
          <td>{{ index .Labels "severity" }}</td>
          <td>{{ index .Annotations "summary" }}</td>
          <td>{{ .StartsAt }}</td>
          <td>{{ .EndsAt }}</td>
        </tr>
        {{ end }}
      </tbody>
    </table>
  </body>
</html>
{{ end }}

9.2 加载模板

templates:
  - /etc/alertmanager/templates/*.tmpl

receivers:
  - name: email-default
    email_configs:
      - to: "oncall@example.com"
        send_resolved: true
        html: '{{ template "demo.email" . }}'

Go 模板可访问:

  • .Alerts:告警列表。
  • .Labels:告警标签。
  • .Annotations:告警注解。
  • .Status:firing 或 resolved。
  • .StartsAt、.EndsAt:起止时间。
  • .ExternalURL:Alertmanager 地址。

不要在模板中嵌入未经校验的外部脚本。

10. 告警配置校验与测试

10.1 校验

/opt/alertmanager/amtool check-config \
  /etc/alertmanager/alertmanager.yml

10.2 查看活动告警

curl -s http://127.0.0.1:9093/api/v2/alerts | jq

10.3 创建静默

/opt/alertmanager/amtool \
  --alertmanager.url=http://127.0.0.1:9093 \
  silence add alertname=NodeExporterDown \
  --duration=2h \
  --comment="planned maintenance"

静默必须设置结束时间,并记录原因和审批人。

10.4 触发测试告警

可以临时停止测试节点的 node_exporter,等待规则超过 for 时间,检查:

  1. Prometheus Alerts 页面。
  2. Alertmanager Alerts 页面。
  3. SMTP 邮件。
  4. 恢复后是否发送 resolved 通知。

11. kube-prometheus 概览

kube-prometheus 使用 Prometheus Operator 管理 Kubernetes 监控组件。

常见组件:

组件作用
Prometheus Operator监听 CR,生成并更新 Prometheus/Alertmanager 配置
Prometheus指标采集、存储和规则评估
Alertmanager告警路由
Grafana可视化
node_exporter节点指标
kube-state-metricsKubernetes 对象状态
blackbox-exporter黑盒探测
prometheus-adapter将指标提供给 Kubernetes Metrics API

11.1 核心 CR

CR作用
Prometheus定义 Prometheus 实例、存储、副本和选择器
Alertmanager定义 Alertmanager 集群和配置
ServiceMonitor按 Service 发现采集目标
PodMonitor按 Pod 发现采集目标
PrometheusRule定义 Prometheus 规则

Operator 会根据这些资源自动生成原生 Kubernetes 资源和 Prometheus 配置。

12. 安装 kube-prometheus

12.1 选择版本

先核对目标版本与 Kubernetes 版本兼容性。资料中的 v0.11.0 较旧,新集群不应直接照搬。

KUBE_PROMETHEUS_TAG=v0.11.0
KUBE_PROMETHEUS_DIR=kube-prometheus-0.11.0

wget "https://github.com/prometheus-operator/kube-prometheus/archive/refs/tags/${KUBE_PROMETHEUS_TAG}.tar.gz"
tar xf "${KUBE_PROMETHEUS_TAG}.tar.gz"
cd "${KUBE_PROMETHEUS_DIR}"

12.2 镜像

使用官方镜像或组织审核过的镜像仓库,固定 tag/digest。不要依赖来源不明的个人镜像标签。

旧版清单中的 k8s.gcr.io 已被新的官方镜像仓库替代,必要时应根据项目兼容文档替换镜像地址。

12.3 应用清单

kubectl apply --server-side -f manifests/setup

kubectl wait \
  --for condition=Established \
  --all CustomResourceDefinition \
  --namespace=monitoring

kubectl apply -f manifests/

查看:

kubectl get pods -n monitoring -o wide
kubectl get svc -n monitoring
kubectl get prometheus,alertmanager -n monitoring

12.4 版本适配

不要只修改镜像 tag 来跨越大版本升级。Operator、CRD、Prometheus、Grafana 和 Kubernetes 之间存在兼容矩阵,应按官方升级路径执行。

13. Kubernetes 监控组件

13.1 node_exporter

通常使用 DaemonSet,在每个节点运行一个 Pod,采集:

  • CPU、内存、磁盘、网络。
  • 文件系统。
  • 系统负载。
  • 节点启动时间。

13.2 kube-state-metrics

监控 Kubernetes 对象状态,而不是容器资源本身:

  • Node。
  • Pod。
  • Deployment。
  • ReplicaSet。
  • Service。
  • ConfigMap。
  • Secret 数量和元数据。

常用查询:

count(kube_node_info)
count(kube_pod_info)
count(kube_service_info)
count(kube_deployment_status_replicas)
count(kube_replicaset_info)
count(kube_configmap_info)
count(kube_secret_info)

13.3 kubelet 与 cAdvisor

容器 CPU、内存和网络指标通常由 kubelet 内置 cAdvisor 端点或单独的 cAdvisor 提供。

13.4 控制面

根据集群部署方式监控:

  • kube-apiserver。
  • kube-scheduler。
  • kube-controller-manager。
  • etcd。

14. Kubernetes 访问与安全

14.1 访问方式

优先使用:

kubectl -n monitoring port-forward \
  svc/prometheus-k8s 9090:9090
kubectl -n monitoring port-forward \
  svc/grafana 3000:3000

生产环境可通过 Ingress 访问,但必须增加认证、TLS、网络策略和访问审计。

14.2 NodePort 风险

把 Prometheus 和 Grafana 直接暴露为 NodePort 会扩大攻击面。如无必要,不要使用公网可达的 NodePort。

14.3 Secret

  • Alertmanager SMTP、Webhook Token 和 etcd 客户端私钥都存入 Kubernetes Secret。
  • 不在 YAML 清单和 Git 中保存明文密码。
  • 使用 External Secrets、Sealed Secrets 或组织密钥平台。
  • 限制 Secret 的 RBAC 读取权限。

15. Kubernetes 常见排错

kubectl get pods -n monitoring -o wide
kubectl get events -n monitoring --sort-by=.lastTimestamp
kubectl describe pod -n monitoring <POD_NAME>
kubectl logs -n monitoring <POD_NAME> -c <CONTAINER_NAME>
kubectl get svc -A
kubectl get endpoints -n monitoring
kubectl get endpointslices -A

常见问题:

现象排查方向
Pod 为 ImagePullBackOff镜像地址、凭据、网络和节点架构
Pod 一直 Pending资源、污点、亲和性、PV
Pod Running 但服务不可访问Service selector、Endpoints、容器端口、网络策略
CRD 未建立manifests/setup、权限和 API Server
ServiceMonitor 未生效标签选择器、命名空间选择器、端口名称
Target 为 DOWNService、Endpoint、TLS 和网络策略
一直 TerminatingFinalizer、节点状态、存储和控制器
NodePort 冲突kubectl get svc -A 和端口规划
CNI 异常CNI Pod 日志、路由和节点网络

16. ServiceMonitor 与 PodMonitor

16.1 ServiceMonitor

按 Service 发现 Endpoint:

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: demo-app
  namespace: monitoring
spec:
  namespaceSelector:
    matchNames:
      - demo
  selector:
    matchLabels:
      app.kubernetes.io/name: demo-app
  endpoints:
    - port: metrics
      path: /metrics
      interval: 30s

要求:

  • Service 有带 metrics 名称的端口。
  • Service 的 Label 与 selector.matchLabels 匹配。
  • Service 能关联到 Endpoint。
  • Prometheus CR 的 serviceMonitorSelector 和命名空间选择器接受该资源。

16.2 PodMonitor

无需 Service,直接选择 Pod:

apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: demo-pods
  namespace: monitoring
spec:
  namespaceSelector:
    matchNames:
      - demo
  selector:
    matchLabels:
      app.kubernetes.io/name: demo-app
  podMetricsEndpoints:
    - port: metrics
      path: /metrics

适合每个 Pod 都有指标端口、但没有稳定 Service 的场景。

17. PrometheusRule

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: demo-alerts
  namespace: monitoring
labels:
  release: prometheus
spec:
  groups:
    - name: demo-alerts
      rules:
        - alert: DemoAppDown
          expr: up{job="demo-app"} == 0
          for: 2m
          labels:
            severity: critical
          annotations:
            summary: "Demo 应用不可用"
            description: "{{ $labels.instance }} 已连续 2 分钟不可用。"

Prometheus CR 必须选择包含该 PrometheusRule 的规则选择器,Operator 才会将其合并到最终配置。

18. 外部 Prometheus 监控 Kubernetes 节点

18.1 node_exporter DaemonSet

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: external-node-exporter
  namespace: monitoring
spec:
  selector:
    matchLabels:
      app: external-node-exporter
  template:
    metadata:
      labels:
        app: external-node-exporter
    spec:
      hostNetwork: true
      hostPID: true
      tolerations:
        - operator: Exists
      containers:
        - name: node-exporter
          image: prom/node-exporter:v1.8.2
          args:
            - --path.rootfs=/host
            - --web.listen-address=:19100
          securityContext:
            readOnlyRootFilesystem: true
          volumeMounts:
            - name: root
              mountPath: /host
              mountPropagation: HostToContainer
              readOnly: true
      volumes:
        - name: root
          hostPath:
            path: /

要点:

  • hostNetwork 让端口直接暴露在宿主节点。
  • 使用非默认 19100 避免与已有 9100 冲突。
  • hostPID 和 /host 挂载用于采集主机指标。
  • tolerations: operator: Exists 允许调度到控制面节点,生产环境应确认权限边界。
  • 不需要默认为容器增加 full privileged。

18.2 外部 Prometheus Job

scrape_configs:
  - job_name: k8s-nodes
    static_configs:
      - targets:
          - 192.0.2.231:19100
          - 192.0.2.232:19100
          - 192.0.2.233:19100
        labels:
          cluster: demo-k8s
          environment: demo

验证:

curl -s http://192.0.2.231:19100/metrics | head

Pod 在 K8s 内启动时,external Prometheus 的 Target 必须使用节点 IP,而不是 Pod IP。

19. 监控 etcd

19.1 检查证书和 Metrics 接口

从 etcd 静态 Pod Manifest 获取真实证书路径:

sudo grep -E -- '--(cert|key|trusted-ca)-file' \
  /etc/kubernetes/manifests/etcd.yaml

测试:

curl -s \
  --cacert /etc/kubernetes/pki/etcd/ca.crt \
  --cert /path/to/etcd-client.crt \
  --key /path/to/etcd-client.key \
  https://192.0.2.231:2379/metrics \
  | tail

不要使用 -k 跳过证书校验,也不要将 etcd 私钥写入公开文件。

19.2 创建 Service 与 Endpoint

apiVersion: v1
kind: Endpoints
metadata:
  name: etcd-metrics
  namespace: kube-system
subsets:
  - addresses:
      - ip: 192.0.2.231
    ports:
      - name: https-metrics
        port: 2379
        protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: etcd-metrics
  namespace: kube-system
  labels:
    app: etcd
spec:
  type: ClusterIP
  ports:
    - name: https-metrics
      port: 2379
      targetPort: 2379

Endpoints 在新版本 Kubernetes 中逐步由 EndpointSlice 承载。若集群不再支持手动 Endpoints,应使用兼容的 EndpointSlice 或标准 API 方案。

19.3 创建客户端证书 Secret

使用由 etcd CA 签发的专用监控客户端证书:

kubectl -n monitoring create secret generic etcd-client-tls \
  --from-file=ca.crt=/path/to/etcd-ca.crt \
  --from-file=client.crt=/path/to/etcd-client.crt \
  --from-file=client.key=/path/to/etcd-client.key

不要把 Secret 明文提交到 Git。

19.4 让 Prometheus 挂载 Secret

编辑 Prometheus CR:

kubectl -n monitoring edit prometheus k8s

在 spec 中增加:

secrets:
  - etcd-client-tls

不要用简单数组覆盖的方式误删已有的其他 Secret。修改后 Operator 会滚动更新 Prometheus Pod。

检查:

kubectl -n monitoring get pods \
  -l app.kubernetes.io/name=prometheus

kubectl -n monitoring exec \
  prometheus-k8s-0 -c prometheus -- \
  ls -l /etc/prometheus/secrets/etcd-client-tls

19.5 创建 etcd ServiceMonitor

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: etcd-metrics
  namespace: monitoring
spec:
  namespaceSelector:
    matchNames:
      - kube-system

  selector:
    matchLabels:
      app: etcd

  endpoints:
    - port: https-metrics
      scheme: https
      path: /metrics
      interval: 30s
      scrapeTimeout: 10s
      tlsConfig:
        caFile: /etc/prometheus/secrets/etcd-client-tls/ca.crt
        certFile: /etc/prometheus/secrets/etcd-client-tls/client.crt
        keyFile: /etc/prometheus/secrets/etcd-client-tls/client.key
        insecureSkipVerify: false

确保 Prometheus CR 的 serviceMonitorSelector 和 serviceMonitorNamespaceSelector 能选中该资源。

19.6 验证 Target

kubectl -n monitoring get servicemonitor etcd-metrics
kubectl -n monitoring port-forward \
  svc/prometheus-k8s 9090:9090

浏览器访问:

http://127.0.0.1:9090/targets

重点指标:

etcd_server_has_leader
etcd_server_leader_changes_seen_total
etcd_disk_backend_commit_duration_seconds
etcd_disk_wal_fsync_duration_seconds
etcd_network_peer_round_trip_time_seconds

19.7 etcd 告警示例

apiVersion: monitoring.coreos.com/v1
kind: PrometheusRule
metadata:
  name: etcd-alerts
  namespace: monitoring
spec:
  groups:
    - name: etcd-alerts
      rules:
        - alert: EtcdNoLeader
          expr: etcd_server_has_leader == 0
          for: 5m
          labels:
            severity: critical
          annotations:
            summary: "etcd 没有 Leader"
            description: "{{ $labels.instance }} 已连续 5 分钟没有 Leader。"

        - alert: EtcdHighFsyncLatency
          expr: |
            histogram_quantile(
              0.99,
              sum by (le, instance) (
                rate(etcd_disk_wal_fsync_duration_seconds_bucket[5m])
              )
            ) > 0.5
          for: 10m
          labels:
            severity: warning
          annotations:
            summary: "etcd WAL fsync 延迟过高"
            description: "{{ $labels.instance }} 的 P99 fsync 延迟超过 500ms。"

阈值必须结合磁盘、节点和业务压测结果调整。

20. Grafana 多数据源

Grafana 可以同时配置:

  • 原始 Prometheus。
  • Kubernetes 内 Prometheus。
  • VictoriaMetrics。
  • 多个集群的 Prometheus。

建议:

  • 数据源名称包含集群和环境。
  • 使用只读访问凭据。
  • Dashboard 变量区分 cluster、job 和 instance。
  • 同一面板不要混用不兼容的指标版本。
  • 导入社区模板后检查指标名称和数据源。

21. Kubernetes 巡检扩展

巡检脚本可检查:

  • 控制面 Pod 是否正常。
  • Worker 节点 Ready 状态。
  • 节点污点和列表。
  • CNI Pod 和节点网络。
  • 默认 StorageClass。
  • 未调度 Pod。
  • 高重启 Pod。
  • Pending PVC。
  • Service 无 Endpoint。
  • 告警和 Target 异常。

常用命令:

kubectl get nodes
kubectl get pods -A -o wide
kubectl get events -A --sort-by=.lastTimestamp
kubectl get storageclass
kubectl get pvc -A
kubectl get endpoints -A
kubectl get --raw='/readyz?verbose'

巡检结果应包含证据和资源名称,不能只输出“异常”或“正常”。

22. 综合

  1. 部署 Alertmanager,并使用 systemd 管理。
  2. 使用密码文件配置 SMTP,不在 YAML 中存放密码。
  3. 创建默认路由和 critical 子路由。
  4. 配置 critical 对 warning 的抑制规则。
  5. 创建 node_exporter 离线告警。
  6. 自定义 HTML 邮件模板并触发、恢复一次告警。
  7. 使用 amtool 校验配置和创建静默。
  8. 根据 Kubernetes 版本安装兼容的 kube-prometheus。
  9. 检查 Operator、Prometheus、Alertmanager、Grafana 组件状态。
  10. 创建 ServiceMonitor 和 PrometheusRule。
  11. 使用外部 Prometheus 抓取 K8s 节点的 node_exporter。
  12. 为 etcd 创建 TLS Secret、Service 和 ServiceMonitor。
  13. 验证 etcd Target 和核心指标。
  14. 创建一个 etcd Leader 或延迟告警。

23. 总结

  • Prometheus 只评估规则,Alertmanager 负责通知处理。
  • for 控制告警从 Pending 进入 Firing 的时间。
  • 路由决定接收者,分组决定通知聚合,抑制决定哪些告警被屏蔽。
  • SMTP 密码应使用受限密码文件或 Secret。
  • Prometheus 规则模板使用 $labels 和 $value。
  • kube-prometheus 通过 CRD 自动管理 Prometheus 和 Alertmanager。
  • ServiceMonitor 按 Service 发现 Target,PodMonitor 直接选择 Pod。
  • ServiceMonitor 无效果时先检查标签、命名空间和 Prometheus 选择器。
  • 外部 Prometheus 监控 K8s 节点时使用节点 IP 和 hostNetwork 端口。
  • etcd 监控必须使用正确的 CA、证书和私钥,不要跳过 TLS 校验。
  • Kubernetes 管理界面和 NodePort 应通过认证、TLS 和网络策略保护。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!