6
0

Kubernetes生产集群+Paas管理平台

2026-10-20
2026-10-20
Kubernetes生产集群+Paas管理平台

一、环境规划与前置准备

1.1 节点清单

节点

业务 IP

IPMI 地址

角色

k8s-master-node1

172.22.30.121

172.22.15.121

控制面 + Harbor + Dashboard + 监控

k8s-worker-node1

172.22.30.122

172.22.15.122

工作节点 / HTTP 文件服务器 / 离线 YUM 源

k8s-worker-node2

172.22.30.123

172.22.15.123

工作节点

k8s-worker-node3

172.22.30.124

172.22.15.124

工作节点

k8s-worker-node4

172.22.30.125

172.22.15.125

工作节点

k8s-worker-node5

172.22.30.126

172.22.15.126

工作节点

1.2 网络规划

网段

地址范围

用途

业务网段 172.22.30.0/22

172.22.30.0 ~ 172.22.31.255

服务器业务通信

IPMI 网段 172.22.15.0/24

172.22.15.0 ~ 172.22.15.255

服务器带外管理

Pod 网段 10.244.0.0/16

Flannel 分配

集群内部

Service 网段 10.96.0.0/16

Kubernetes 分配

集群内部

1.3 硬件防火墙放通清单

节点本地不启用防火墙,以下端口在硬件防火墙上放通:

服务

目的地址

端口

SSH

各节点

22/TCP

离线源 / 文件服务器

172.22.30.122

80/TCP

Harbor

172.22.30.121

80/TCP

Harbor Notary

172.22.30.121

30084/TCP

Dashboard

172.22.30.121

30080/TCP

Portainer

172.22.30.121

30776、30777、30779/TCP

Kiali

172.22.30.121

30001/TCP

Grafana

172.22.30.121

33000/TCP

Prometheus

172.22.30.121

39090/TCP

Zipkin

172.22.30.121

39411/TCP

Istio Ingress

172.22.30.121

48017/TCP、11536/TCP

kube-apiserver

172.22.30.121

6443/TCP

etcd

172.22.30.121

2379~2380/TCP

kubelet API

各节点

10250/TCP

Flannel VXLAN

各节点

8472/UDP

IPMI

172.22.15.x

443/TCP、623/UDP

连通性验证:

Test-NetConnection 172.22.30.121 -Port 22
Test-NetConnection 172.22.30.122 -Port 80
Test-NetConnection 172.22.30.121 -Port 30080

1.4 版本环境

层次

实测值

操作系统

CentOS 7.5.1804 (Core),内核 3.10.0-862.el7.x86_64

容器运行时

containerd.io 1.6.21

Kubernetes

kubelet / kubeadm / kubectl v1.25.2

集群辅助组件

cri-tools 1.26.0、kubernetes-cni 1.2.0

网络插件

Flannel v0.19.2(vxlan 后端)

网络参数

Pod 10.244.0.0/16;Service 10.96.0.0/16;cluster.local

控制面接入

apiserver.cluster.local:6443;etcd 本地单实例 /var/lib/etcd

核心启动参数

service-node-port-range: 1-65535;event-ttl: 720h

Master 污点

taints: null(Master 可直接调度业务 Pod)

存储

nfs-client-provisioner v4.0.1;默认 StorageClass nfs-storage;路径 /data/nfs

镜像仓库

Harbor 2.6.1(Helm Chart harbor-1.10.1,NodePort 80 / 30083 / 30084)

集群面板

kubernetes-dashboard v2.7.0(NodePort 30080,Token 登录)

容器管理

Portainer(Helm Chart portainer-1.0.42,release 名 dashboard)

Helm

v3.10.0

监控与可观测性

Prometheus v1.34.0、Grafana 9.0.1、Kiali v1.55、Jaeger 1.35

服务网格

Istio 1.15.2(istioctl )

1.5 离线介质/软件包

在文件服务器 172.22.30.122 上统一发布,各节点经 HTTP 获取:

路径

内容

/var/www/html/repo/iso

CentOS 7 ISO 全量内容(Packages + repodata)

/var/www/html/repo/rpm

追加 RPM(containerd、Kubernetes、cri-tools 等)

/var/www/html/media/images

images.tar、images-lists.txt

/var/www/html/media/manifests

kube-flannel.yml、nfs-storage.yaml、recommended.yaml、dashboard-adminuser.yaml、components.yaml、grafana/prometheus/kiali/jaeger.yaml

/var/www/html/media/charts

Harbor Chart(harbor/)、Portainer Chart(dashboard.tgz)

/var/www/html/media/tools

helm、istioctl、nerdctl

1.5 各节点接入离线源

【执行节点:6 台节点】

1:禁用Centos自带的源:

mkdir -p /root/repo-bak
mv /etc/yum.repos.d/CentOS-*.repo /root/repo-bak/ 2>/dev/null
ls /etc/yum.repos.d/

2:写入离线源配置:

cat > /etc/yum.repos.d/offline.repo <<'EOF'
[offline-iso]
name=Offline ISO Repo
baseurl=http://172.22.30.122/repo/iso
enabled=1
gpgcheck=0
​
[offline-rpm]
name=Offline RPM Repo
baseurl=http://172.22.30.122/repo/rpm
enabled=1
gpgcheck=0
EOF

3:刷新缓存:

yum clean all
yum makecache
yum repolist

4:安装基础工具,验证源可用:

yum -y install vim wget net-tools chrony conntrack-tools socat \
               iptables-services cri-tools nfs-utils

1.6 内网时间同步

1.6.1 Master 作为内网时间源

【执行节点:172.22.30.121】

cat >> /etc/chrony.conf <<'EOF'
​
allow 172.22.30.0/22
local stratum 10
EOF
​
systemctl enable --now chronyd
timedatectl set-timezone Asia/Shanghai

1.6.2 其余节点指向 Master

【执行节点:其余 5 台节点】

sed -i 's/^server /#server /; s/^pool /#pool /' /etc/chrony.conf
echo 'server 172.22.30.121 iburst' >> /etc/chrony.conf
systemctl enable --now chronyd
timedatectl set-timezone Asia/Shanghai

1.6.3 验证

【执行节点:6 台节点】

chronyc sources -v
chronyc tracking
timedatectl

1.7 防火墙与SElinux

预先全部关闭防火墙和selinux

1.8 Kubernetes 运行前置准备

执行节点:6 台节点】 以下文件名与内容取自实验环境安装日志,与常见的 k8s.conf 写法不同,请按本手册执行以保证与生产环境一致。

关闭 swap:

swapoff -a && sysctl -w vm.swappiness=0
sed -i '/swap/s/^/#/' /etc/fstab
free -m | grep -i swap

Swap 行的 total/used 均为 0。

加载内核模块:

modprobe overlay
modprobe br_netfilter
modprobe ip_tables
modprobe iptable_filter
​
cat > /etc/modules-load.d/containerd.conf <<'EOF'
overlay
br_netfilter
ip_tables
iptable_filter
EOF
​
lsmod | grep -E 'overlay|br_netfilter|ip_tables'

四个模块均已加载。

写入内核参数:

cat > /etc/sysctl.d/99-kubernetes-cri.conf <<'EOF'
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
​
sysctl --system

验证:

sysctl net.ipv4.ip_forward net.bridge.bridge-nf-call-iptables

两项均返回 = 1。

阶段二:containerd 与 Kubernetes 集群

2.1 前置

以 kubeadm 原生方式建成 1 主 5 从集群(Kubernetes v1.25.2 + containerd 1.6.21 + Flannel),并完成 NFS 存储与默认 StorageClass。本节步骤与参数与实验环境安装日志完全一致。

前置条件:阶段一检查通过;硬件防火墙已按放通集群端口;离线源可访问。

2.2 安装 containerd(6 台节点执行)

安装日志中该步骤的实际动作序列为:装包 → 生成默认配置 → 改 cgroup 驱动 → 启动服务 → 导入镜像 → 启动 Docker。

安装 RPM:

cd /root/media/rpm
yum -y install containerd.io-1.6.21-3.1.el7.x86_64.rpm container-selinux-*.rpm
rpm -q containerd.io

生成默认配置并修改 cgroup 驱动:

mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml

核对三项关键配置:

grep -E 'SystemdCgroup|sandbox_image|config_path' /etc/containerd/config.toml

配置项

期望值

说明

SystemdCgroup

true

与 kubelet 的 cgroupDriver 一致

sandbox_image

registry.k8s.io/pause:3.6

containerd 1.6.21 默认值

config_path

""(空)

未启用按仓库证书配置

不要手动修改 sandbox_image:整个过程只改了 SystemdCgroup 一项。Pod 实际使用的沙箱镜像由 kubeadm 侧 pod-infra-container-image 指定为 pause:3.8(见 4.5.1);两个 pause 镜像都在 images.tar 中,均已预载,无需在线拉取。

启动服务:

systemctl enable containerd
systemctl restart containerd
systemctl status containerd --no-pager

状态为 active (running)。

2.3 安装 kubelet / kubeadm / kubectl(6 台节点执行)

组件

版本

kubelet / kubeadm / kubectl

1.25.2

cri-tools(提供 crictl)

1.26.0

kubernetes-cni

1.2.0

安装:

cd /root/media/rpm
yum -y install kubelet-1.25.2-0.x86_64.rpm \
               kubeadm-1.25.2-0.x86_64.rpm \
               kubectl-1.25.2-0.x86_64.rpm \
               cri-tools-1.26.0-0.x86_64.rpm \
               kubernetes-cni-1.2.0-0.x86_64.rpm
​
systemctl enable kubelet

核对版本(三件套必须完全一致):

kubeadm version -o short
kubelet --version
rpm -q cri-tools kubernetes-cni

kubeadm/kubelet 均为 v1.25.2;cri-tools 1.26.0;kubernetes-cni 1.2.0。

此时 kubelet 处于 enabled 但未启动状态,属正常——kubeadm init 会接管启动。

配置 crictl:

cat > /etc/crictl.yaml <<'EOF'
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
​
crictl info | head -10

输出 runtime 信息,无连接错误。

2.4 导入容器镜像(6 台节点执行)

导入镜像包:

cd /root/media/images
ctr -n k8s.io images import images.tar

末尾输出 unpacking ... done 之类的完成信息。

核对镜像清单与 kubeadm 期望是否一致:

kubeadm config images list --kubernetes-version v1.25.2
crictl images | grep registry.k8s.io

两条命令的输出完全对应,涵盖 kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy、pause、etcd、coredns。

:统计镜像数量:

crictl images | wc -l

2.5 初始化 Master 集群(在 172.22.30.121 上执行)

2.5.1 写入 kubeadm 配置文件

以下配置与实验环境安装日志中的 /etc/kubernetes/kubeadm-config.yaml 一致:

mkdir -p /etc/kubernetes
​
cat > /etc/kubernetes/kubeadm-config.yaml <<'EOF'
apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
nodeRegistration:
  criSocket: unix:///var/run/containerd/containerd.sock
  imagePullPolicy: IfNotPresent
  taints: null
  pod-infra-container-image: registry.k8s.io/pause:3.8
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.25.2
imageRepository: registry.k8s.io
clusterName: kubernetes
controlPlaneEndpoint: apiserver.cluster.local:6443
certificatesDir: /etc/kubernetes/pki
etcd:
  local:
    dataDir: /var/lib/etcd
apiServer:
  timeoutForControlPlane: 4m0s
  certSANs:
    - 127.0.0.1
    - apiserver.cluster.local
    - 172.22.30.121
  extraArgs:
    event-ttl: '720h'
    service-node-port-range: '1-65535'
  extraVolumes:
    - name: localtime
      hostPath: /etc/localtime
      mountPath: /etc/localtime
      readOnly: true
      pathType: File
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/16
EOF

关键参数说明:

参数

值

作用

taints

null

Master 默认无污点,可直接调度业务 Pod

pod-infra-container-image

registry.k8s.io/pause:3.8

kubelet 实际使用的沙箱镜像

service-node-port-range

1-65535

Harbor 使用 NodePort 80 的前提

event-ttl

720h

事件保留 30 天

controlPlaneEndpoint

apiserver.cluster.local:6443

须在 /etc/hosts 中解析

certSANs

127.0.0.1 / apiserver.cluster.local / 节点 IP

证书携带的访问地址

localAPIEndpoint:
advertiseAddress: 172.22.30.121
bindPort: 6443

2.5.2 正式初始化

kubeadm init --config=/etc/kubernetes/kubeadm-config.yaml --upload-certs

输出 Your Kubernetes control-plane has initialized successfully!,并打印 kubeadm join 命令。

失败可尝试:

kubeadm reset -f
rm -rf /etc/cni/net.d /var/lib/etcd $HOME/.kube

2.5.3 配置 kubectl 与 hosts

日志中初始化后立即修正了 hosts 中控制面接入名的指向:

mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
​
sed -i 's#.*apiserver.cluster.local#172.22.30.121 apiserver.cluster.local#g' /etc/hosts
​
kubectl get nodes

显示 k8s-master-node1,状态为 NotReady(正常,Flannel 尚未部署)。

2.5.4 移除 Master 污点

安装日志中执行了以下操作,使 Master 可承载业务 Pod(配置文件的 taints: null 与此处是双重保证):

kubectl taint nodes $(hostname) node-role.kubernetes.io/control-plane:NoSchedule-

2.5.5 配置 kubelet 证书自动批准

日志中创建了三个 ClusterRoleBinding,用于 kubelet 客户端证书的自动批准与续期,避免节点证书到期后需人工审批:

kubectl create clusterrolebinding node-client-auto-approve-csr \
  --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient \
  --user=kubelet-bootstrap
​
kubectl create clusterrolebinding node-client-auto-renew-crt \
  --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient \
  --group=system:nodes
​
kubectl create clusterrolebinding node-server-auto-renew-crt \
  --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver \
  --group=system:nodes

均输出 clusterrolebinding.rbac.authorization.k8s.io/... created。

2.6 部署 Flannel 网络(在 Master 上执行)

改清单中的 Pod 网段 → apply(带重试)→ 等待 Pod 就绪。

确认清单中的网段与 4.5.1 的 podSubnet 一致:

cd /root/media/manifests
grep -A4 'net-conf' kube-flannel.yml

输出:

{
  "Network": "10.244.0.0/16",
  "Backend": {
    "Type": "vxlan"
  }
}

下发 Flannel:

kubectl apply --wait=true --timeout=10s -f kube-flannel.yml

等待并验证:

kubectl -n kube-system get pods -l app=flannel -o wide
kubectl get nodes
kubectl -n kube-system get pods | grep coredns

检查项

预期

kube-flannel-ds

每个节点各 1 个,状态 Running

Master 节点

状态 Ready

coredns

由 Pending 变为 Running

容器网络配置文件为 /etc/cni/net.d/10-flannel.conflist,插件为 flannel + portmap,网桥名 cbr0。

2.7 Worker 节点接入(在 5 台 Worker 上执行)

确认 Worker 已完成 containerd、三件套、镜像导入。

在 Master 上生成加入命令:

【执行节点:172.22.30.121】

在各 Worker 上执行输出命令(日志中实测形式):

【执行节点:5 台 Worker】

kubeadm join apiserver.cluster.local:6443 --token <token> \
  --discovery-token-ca-cert-hash sha256:<hash>

预期结果:输出 This node has joined the cluster。

在 Master 上验证:

【执行节点:172.22.30.121】

kubectl get nodes -o wide
kubectl get nodes -o custom-columns=NAME:.metadata.name,IP:.status.addresses[0].address,RUNTIME:.status.nodeInfo.containerRuntimeVersion

6 个节点全部 Ready,运行时显示 containerd://1.6.21。

失败处理:

现象

排查

Worker 长时间 NotReady

kubectl describe node <节点名> 看事件;journalctl -u kubelet -n 100;journalctl -u containerd -n 100

加入报 token 过期

重新执行步骤 2 生成新 token

报无法解析 apiserver.cluster.local

回到 4.4 补齐该节点的 /etc/hosts

报镜像拉取失败

确认该 Worker 已完成 4.4 的镜像导入

2.8 NFS 存储与默认 StorageClass

实验环境的 NFS 服务端运行在 Master 上,导出 /data/nfs;清单 nfs-storage.yaml 中的服务端写为 127.0.0.1。

在 Master 上部署 NFS 服务端:

【执行节点:172.22.30.121】

mkdir -p /data/nfs
echo '/data/nfs 172.22.30.0/22(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports
systemctl enable --now rpcbind nfs-server
exportfs -v

exportfs -v 列出 /data/nfs 及其允许网段。

确认各节点已安装 NFS 客户端:

【执行节点:6 台节点】

yum -y install nfs-utils
rpm -q nfs-utils

部署 nfs-client-provisioner 与默认 StorageClass:

【执行节点:172.22.30.121】

cd /root/media/manifests
grep -nE 'server:|path:' nfs-storage.yaml
kubectl apply -f nfs-storage.yaml

grep 显示 server: 127.0.0.1、path: /data/nfs。

验证:

kubectl get pods | grep nfs
kubectl get sc

nfs-client-provisioner 为 Running;StorageClass 显示 nfs-storage (default)。

2.9 检查点

集群整体验证【执行节点:172.22.30.121】:

kubectl get nodes -o wide
kubectl get pods -A
kubectl get sc
kubectl cluster-info

阶段三:Kubernetes 平台组件

3.1 实施目标与安装方式

前置条件:阶段二完成,默认 StorageClass nfs-storage 就绪。

安装方式:

方式

组件

kubectl apply

Dashboard、metrics-server、Prometheus、Grafana、Kiali、Jaeger

Helm(v3.10.0)

Harbor(release harbor,chart harbor-1.10.1)、Portainer(release dashboard,chart portainer-1.0.42),均使用 Chart 默认 values

istioctl

Istio 及入口网关

顺序:Dashboard → metrics-server → 命令行工具 → Istio 与可观测组件 → Harbor → Portainer。

3.2 Kubernetes Dashboard 与 metrics-server

【执行节点:172.22.30.121】

部署 Dashboard:

kubectl apply -f /root/media/manifests/recommended.yaml

等待并确认:

kubectl -n kubernetes-dashboard get pods
kubectl -n kubernetes-dashboard get svc

kubernetes-dashboard 与 dashboard-metrics-scraper 均为 Running;Service 显示 443:30080/TCP。

创建管理员账号与绑定:

kubectl apply -f /root/media/manifests/dashboard-adminuser.yaml

部署 metrics-server:

kubectl apply -f /root/media/manifests/components.yaml
kubectl -n kube-system get deploy metrics-server

metrics-server 就绪(1/1)。

验证资源指标:

kubectl top nodes

输出 6 个节点的 CPU / 内存用量(首次可能需等待 1 分钟让指标聚合)。

获取登录 Token:

kubectl -n kube-system create token dashboard-admin

【执行节点:运维终端】浏览器访问 https://172.22.30.121:30080,选择 Token 方式粘贴上一步输出登录。

3.3 安装命令行工具

【执行节点:172.22.30.121】

安装日志中依次安装了 helm、virtctl、docker-compose、istioctl、nerdctl、buildkitd。其余按需安装:

install -m 0755 /root/media/tools/helm     /usr/local/bin/helm
install -m 0755 /root/media/tools/istioctl /usr/local/bin/istioctl
install -m 0755 /root/media/tools/nerdctl  /usr/local/bin/nerdctl

验证:

helm version --short        # 期望 v3.10.0
istioctl version --remote=false
nerdctl version

3.4 Istio 与可观测组件

【执行节点:172.22.30.121】

安装 Istio:

istioctl install --set profile=demo -y

等待控制面与网关就绪:

kubectl -n istio-system get pods

istiod、istio-ingressgateway、istio-egressgateway 均为 Running。

部署可观测组件:

kubectl apply -f /root/media/manifests/prometheus.yaml
kubectl apply -f /root/media/manifests/grafana.yaml
kubectl apply -f /root/media/manifests/kiali.yaml
kubectl apply -f /root/media/manifests/jaeger.yaml

验证:

kubectl -n istio-system get pods
kubectl -n istio-system get svc

预期:prometheus、grafana、kiali、jaeger 均为 Running;Service 暴露的 NodePort 与下表一致。

组件

访问地址

Kiali

http://172.22.30.121:30001

Grafana

http://172.22.30.121:33000

Prometheus

http://172.22.30.121:39090

Zipkin

http://172.22.30.121:39411

Istio Ingress

48017(HTTP)/ 11536(HTTPS)

3.5 Harbor 镜像仓库(Helm 部署)

【执行节点:172.22.30.121】

创建命名空间并安装:

kubectl create namespace harbor
helm install harbor /root/media/charts/harbor -n harbor

等待组件就绪并验证:

kubectl -n harbor get pods
kubectl -n harbor get svc
helm list -A

harbor-core、harbor-portal、harbor-jobservice、harbor-registry、harbor-registryctl、harbor-db、harbor-redis、harbor-chartmuseum、harbor-trivy、harbor-notary-server、harbor-notary-signer、nginx 等全部 Running;helm list -A 中 harbor 状态为 deployed。

服务可达性验证:

curl -I http://172.22.30.121

返回 HTTP/1.1 200 OK。

Chart 关键配置(全部来自 Chart 默认 values):

配置项

值

Chart / appVersion

harbor-1.10.1 / 2.6.1

service.type

nodePort

nodePort

80(Harbor)、30083、30084(Notary)

externalURL

http://127.0.0.1:80

harborAdminPassword

Harbor12345(见附录 A)

存储后端

filesystem(落在 nfs-storage 上)

Trivy 镜像扫描

已启用

客户端登录与推送测试:

nerdctl login 172.22.30.121 -u admin -p Harbor12345
nerdctl pull busybox:latest
nerdctl tag busybox:latest 172.22.30.121/library/busybox:latest
nerdctl --insecure-registry push 172.22.30.121/library/busybox:latest

Login Succeeded;推送完成并可在 Harbor 控制台 library 项目中看到该镜像。

3.6 Portainer(Helm 部署)

【执行节点:172.22.30.121】

helm install dashboard /root/media/charts/dashboard.tgz -n kube-system
kubectl -n kube-system get svc | grep portainer

dashboard-portainer 显示 NodePort 9000:30777/TCP, 9443:30779/TCP, 30776:30776/TCP。

release 名为 dashboard(Chart 名为 portainer-1.0.42),后续升级或卸载必须使用该名称。

浏览器访问 http://172.22.30.121:30777,首次登录设置管理员口令。

附录:

containerd 以 HTTP 方式从 Harbor 拉取镜像:

sed -i 's#config_path = ""#config_path = "/etc/containerd/certs.d"#' /etc/containerd/config.toml
​
mkdir -p /etc/containerd/certs.d/172.22.30.121
cat > /etc/containerd/certs.d/172.22.30.121/hosts.toml <<'EOF'
server = "http://172.22.30.121"
​
[host."http://172.22.30.121"]
  capabilities = ["pull", "resolve", "push"]
  skip_verify = true
EOF
​
systemctl restart containerd

巡检命令

【执行节点:172.22.30.121】

kubectl get nodes -o wide
kubectl get pods -A | grep -v Running
kubectl describe pod <pod> -n <ns>
kubectl logs <pod> -n <ns> --tail=200
kubectl get sc
kubectl cluster-info
helm list -A
​
df -h ; free -m ; uptime
systemctl status kubelet containerd
journalctl -u kubelet -n 200
journalctl -u containerd -n 200
crictl ps

备份

备份对象

对象

频率

说明

etcd 快照

每日 + 变更后

集群核心状态(/var/lib/etcd)

Kubernetes 资源配置

变更后

各组件 YAML / Chart values

NFS 数据 /data/nfs

每日

所有 PVC 的实际落盘位置

Harbor 项目与镜像

每日

存储于 NFS

containerd、kubelet、网络配置

变更后

快速重建依据

离线介质(RPM、images.tar、Chart、manifests)

交付后固化

唯一重建来源,须异地留存

【执行节点:172.22.30.121】etcd 快照:

mkdir -p /data/backup
ETCDCTL_API=3 etcdctl \
  --endpoints=https://127.0.0.1:2379 \
  --cacert=/etc/kubernetes/pki/etcd/ca.crt \
  --cert=/etc/kubernetes/pki/etcd/server.crt \
  --key=/etc/kubernetes/pki/etcd/server.key \
  snapshot save /data/backup/etcd-$(date +%Y%m%d%H%M).db
​
ETCDCTL_API=3 etcdctl --write-out=table snapshot status /data/backup/etcd-*.db

etcd 恢复(高风险,须先备份现有数据):

systemctl stop kubelet
mv /var/lib/etcd /var/lib/etcd.bak.$(date +%Y%m%d%H%M)
ETCDCTL_API=3 etcdctl snapshot restore /data/backup/etcd-<时间戳>.db --data-dir=/var/lib/etcd
systemctl start kubelet
kubectl get nodes

任何回滚前先留取现场快照与日志,并评估业务影响。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!