Kubernetes生产集群+Paas管理平台
一、环境规划与前置准备
1.1 节点清单
1.2 网络规划
1.3 硬件防火墙放通清单
节点本地不启用防火墙,以下端口在硬件防火墙上放通:
连通性验证:
Test-NetConnection 172.22.30.121 -Port 22
Test-NetConnection 172.22.30.122 -Port 80
Test-NetConnection 172.22.30.121 -Port 300801.4 版本环境
1.5 离线介质/软件包
在文件服务器 172.22.30.122 上统一发布,各节点经 HTTP 获取:
1.5 各节点接入离线源
【执行节点:6 台节点】
1:禁用Centos自带的源:
mkdir -p /root/repo-bak
mv /etc/yum.repos.d/CentOS-*.repo /root/repo-bak/ 2>/dev/null
ls /etc/yum.repos.d/2:写入离线源配置:
cat > /etc/yum.repos.d/offline.repo <<'EOF'
[offline-iso]
name=Offline ISO Repo
baseurl=http://172.22.30.122/repo/iso
enabled=1
gpgcheck=0
[offline-rpm]
name=Offline RPM Repo
baseurl=http://172.22.30.122/repo/rpm
enabled=1
gpgcheck=0
EOF3:刷新缓存:
yum clean all
yum makecache
yum repolist4:安装基础工具,验证源可用:
yum -y install vim wget net-tools chrony conntrack-tools socat \
iptables-services cri-tools nfs-utils1.6 内网时间同步
1.6.1 Master 作为内网时间源
【执行节点:172.22.30.121】
cat >> /etc/chrony.conf <<'EOF'
allow 172.22.30.0/22
local stratum 10
EOF
systemctl enable --now chronyd
timedatectl set-timezone Asia/Shanghai1.6.2 其余节点指向 Master
【执行节点:其余 5 台节点】
sed -i 's/^server /#server /; s/^pool /#pool /' /etc/chrony.conf
echo 'server 172.22.30.121 iburst' >> /etc/chrony.conf
systemctl enable --now chronyd
timedatectl set-timezone Asia/Shanghai1.6.3 验证
【执行节点:6 台节点】
chronyc sources -v
chronyc tracking
timedatectl1.7 防火墙与SElinux
预先全部关闭防火墙和selinux
1.8 Kubernetes 运行前置准备
执行节点:6 台节点】 以下文件名与内容取自实验环境安装日志,与常见的 k8s.conf 写法不同,请按本手册执行以保证与生产环境一致。
关闭 swap:
swapoff -a && sysctl -w vm.swappiness=0
sed -i '/swap/s/^/#/' /etc/fstab
free -m | grep -i swapSwap 行的 total/used 均为 0。
加载内核模块:
modprobe overlay
modprobe br_netfilter
modprobe ip_tables
modprobe iptable_filter
cat > /etc/modules-load.d/containerd.conf <<'EOF'
overlay
br_netfilter
ip_tables
iptable_filter
EOF
lsmod | grep -E 'overlay|br_netfilter|ip_tables'四个模块均已加载。
写入内核参数:
cat > /etc/sysctl.d/99-kubernetes-cri.conf <<'EOF'
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sysctl --system验证:
sysctl net.ipv4.ip_forward net.bridge.bridge-nf-call-iptables两项均返回 = 1。
阶段二:containerd 与 Kubernetes 集群
2.1 前置
以 kubeadm 原生方式建成 1 主 5 从集群(Kubernetes v1.25.2 + containerd 1.6.21 + Flannel),并完成 NFS 存储与默认 StorageClass。本节步骤与参数与实验环境安装日志完全一致。
前置条件:阶段一检查通过;硬件防火墙已按放通集群端口;离线源可访问。
2.2 安装 containerd(6 台节点执行)
安装日志中该步骤的实际动作序列为:装包 → 生成默认配置 → 改 cgroup 驱动 → 启动服务 → 导入镜像 → 启动 Docker。
安装 RPM:
cd /root/media/rpm
yum -y install containerd.io-1.6.21-3.1.el7.x86_64.rpm container-selinux-*.rpm
rpm -q containerd.io生成默认配置并修改 cgroup 驱动:
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml核对三项关键配置:
grep -E 'SystemdCgroup|sandbox_image|config_path' /etc/containerd/config.toml不要手动修改
sandbox_image:整个过程只改了SystemdCgroup一项。Pod 实际使用的沙箱镜像由 kubeadm 侧pod-infra-container-image指定为pause:3.8(见 4.5.1);两个 pause 镜像都在images.tar中,均已预载,无需在线拉取。
启动服务:
systemctl enable containerd
systemctl restart containerd
systemctl status containerd --no-pager状态为 active (running)。
2.3 安装 kubelet / kubeadm / kubectl(6 台节点执行)
安装:
cd /root/media/rpm
yum -y install kubelet-1.25.2-0.x86_64.rpm \
kubeadm-1.25.2-0.x86_64.rpm \
kubectl-1.25.2-0.x86_64.rpm \
cri-tools-1.26.0-0.x86_64.rpm \
kubernetes-cni-1.2.0-0.x86_64.rpm
systemctl enable kubelet核对版本(三件套必须完全一致):
kubeadm version -o short
kubelet --version
rpm -q cri-tools kubernetes-cnikubeadm/kubelet 均为 v1.25.2;cri-tools 1.26.0;kubernetes-cni 1.2.0。
此时
kubelet处于 enabled 但未启动状态,属正常——kubeadm init会接管启动。
配置 crictl:
cat > /etc/crictl.yaml <<'EOF'
runtime-endpoint: unix:///run/containerd/containerd.sock
image-endpoint: unix:///run/containerd/containerd.sock
timeout: 10
debug: false
EOF
crictl info | head -10输出 runtime 信息,无连接错误。
2.4 导入容器镜像(6 台节点执行)
导入镜像包:
cd /root/media/images
ctr -n k8s.io images import images.tar末尾输出 unpacking ... done 之类的完成信息。
核对镜像清单与 kubeadm 期望是否一致:
kubeadm config images list --kubernetes-version v1.25.2
crictl images | grep registry.k8s.io两条命令的输出完全对应,涵盖 kube-apiserver、kube-controller-manager、kube-scheduler、kube-proxy、pause、etcd、coredns。
:统计镜像数量:
crictl images | wc -l2.5 初始化 Master 集群(在 172.22.30.121 上执行)
2.5.1 写入 kubeadm 配置文件
以下配置与实验环境安装日志中的 /etc/kubernetes/kubeadm-config.yaml 一致:
mkdir -p /etc/kubernetes
cat > /etc/kubernetes/kubeadm-config.yaml <<'EOF'
apiVersion: kubeadm.k8s.io/v1beta3
kind: InitConfiguration
nodeRegistration:
criSocket: unix:///var/run/containerd/containerd.sock
imagePullPolicy: IfNotPresent
taints: null
pod-infra-container-image: registry.k8s.io/pause:3.8
---
apiVersion: kubeadm.k8s.io/v1beta3
kind: ClusterConfiguration
kubernetesVersion: v1.25.2
imageRepository: registry.k8s.io
clusterName: kubernetes
controlPlaneEndpoint: apiserver.cluster.local:6443
certificatesDir: /etc/kubernetes/pki
etcd:
local:
dataDir: /var/lib/etcd
apiServer:
timeoutForControlPlane: 4m0s
certSANs:
- 127.0.0.1
- apiserver.cluster.local
- 172.22.30.121
extraArgs:
event-ttl: '720h'
service-node-port-range: '1-65535'
extraVolumes:
- name: localtime
hostPath: /etc/localtime
mountPath: /etc/localtime
readOnly: true
pathType: File
networking:
dnsDomain: cluster.local
podSubnet: 10.244.0.0/16
serviceSubnet: 10.96.0.0/16
EOF关键参数说明:
localAPIEndpoint: advertiseAddress: 172.22.30.121 bindPort: 6443
2.5.2 正式初始化
kubeadm init --config=/etc/kubernetes/kubeadm-config.yaml --upload-certs输出 Your Kubernetes control-plane has initialized successfully!,并打印 kubeadm join 命令。
失败可尝试:
kubeadm reset -f
rm -rf /etc/cni/net.d /var/lib/etcd $HOME/.kube2.5.3 配置 kubectl 与 hosts
日志中初始化后立即修正了 hosts 中控制面接入名的指向:
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
chown $(id -u):$(id -g) $HOME/.kube/config
sed -i 's#.*apiserver.cluster.local#172.22.30.121 apiserver.cluster.local#g' /etc/hosts
kubectl get nodes显示 k8s-master-node1,状态为 NotReady(正常,Flannel 尚未部署)。
2.5.4 移除 Master 污点
安装日志中执行了以下操作,使 Master 可承载业务 Pod(配置文件的 taints: null 与此处是双重保证):
kubectl taint nodes $(hostname) node-role.kubernetes.io/control-plane:NoSchedule-2.5.5 配置 kubelet 证书自动批准
日志中创建了三个 ClusterRoleBinding,用于 kubelet 客户端证书的自动批准与续期,避免节点证书到期后需人工审批:
kubectl create clusterrolebinding node-client-auto-approve-csr \
--clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient \
--user=kubelet-bootstrap
kubectl create clusterrolebinding node-client-auto-renew-crt \
--clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient \
--group=system:nodes
kubectl create clusterrolebinding node-server-auto-renew-crt \
--clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver \
--group=system:nodes均输出 clusterrolebinding.rbac.authorization.k8s.io/... created。
2.6 部署 Flannel 网络(在 Master 上执行)
改清单中的 Pod 网段 → apply(带重试)→ 等待 Pod 就绪。
确认清单中的网段与 4.5.1 的 podSubnet 一致:
cd /root/media/manifests
grep -A4 'net-conf' kube-flannel.yml输出:
{
"Network": "10.244.0.0/16",
"Backend": {
"Type": "vxlan"
}
}下发 Flannel:
kubectl apply --wait=true --timeout=10s -f kube-flannel.yml等待并验证:
kubectl -n kube-system get pods -l app=flannel -o wide
kubectl get nodes
kubectl -n kube-system get pods | grep coredns容器网络配置文件为
/etc/cni/net.d/10-flannel.conflist,插件为 flannel + portmap,网桥名cbr0。
2.7 Worker 节点接入(在 5 台 Worker 上执行)
确认 Worker 已完成 containerd、三件套、镜像导入。
在 Master 上生成加入命令:
【执行节点:172.22.30.121】
在各 Worker 上执行输出命令(日志中实测形式):
【执行节点:5 台 Worker】
kubeadm join apiserver.cluster.local:6443 --token <token> \
--discovery-token-ca-cert-hash sha256:<hash>预期结果:输出 This node has joined the cluster。
在 Master 上验证:
【执行节点:172.22.30.121】
kubectl get nodes -o wide
kubectl get nodes -o custom-columns=NAME:.metadata.name,IP:.status.addresses[0].address,RUNTIME:.status.nodeInfo.containerRuntimeVersion6 个节点全部 Ready,运行时显示 containerd://1.6.21。
失败处理:
2.8 NFS 存储与默认 StorageClass
实验环境的 NFS 服务端运行在 Master 上,导出 /data/nfs;清单 nfs-storage.yaml 中的服务端写为 127.0.0.1。
在 Master 上部署 NFS 服务端:
【执行节点:172.22.30.121】
mkdir -p /data/nfs
echo '/data/nfs 172.22.30.0/22(rw,sync,no_subtree_check,no_root_squash)' >> /etc/exports
systemctl enable --now rpcbind nfs-server
exportfs -vexportfs -v 列出 /data/nfs 及其允许网段。
确认各节点已安装 NFS 客户端:
【执行节点:6 台节点】
yum -y install nfs-utils
rpm -q nfs-utils部署 nfs-client-provisioner 与默认 StorageClass:
【执行节点:172.22.30.121】
cd /root/media/manifests
grep -nE 'server:|path:' nfs-storage.yaml
kubectl apply -f nfs-storage.yamlgrep 显示 server: 127.0.0.1、path: /data/nfs。
验证:
kubectl get pods | grep nfs
kubectl get scnfs-client-provisioner 为 Running;StorageClass 显示 nfs-storage (default)。
2.9 检查点
集群整体验证【执行节点:172.22.30.121】:
kubectl get nodes -o wide
kubectl get pods -A
kubectl get sc
kubectl cluster-info阶段三:Kubernetes 平台组件
3.1 实施目标与安装方式
前置条件:阶段二完成,默认 StorageClass nfs-storage 就绪。
安装方式:
顺序:Dashboard → metrics-server → 命令行工具 → Istio 与可观测组件 → Harbor → Portainer。
3.2 Kubernetes Dashboard 与 metrics-server
【执行节点:172.22.30.121】
部署 Dashboard:
kubectl apply -f /root/media/manifests/recommended.yaml等待并确认:
kubectl -n kubernetes-dashboard get pods
kubectl -n kubernetes-dashboard get svckubernetes-dashboard 与 dashboard-metrics-scraper 均为 Running;Service 显示 443:30080/TCP。
创建管理员账号与绑定:
kubectl apply -f /root/media/manifests/dashboard-adminuser.yaml部署 metrics-server:
kubectl apply -f /root/media/manifests/components.yaml
kubectl -n kube-system get deploy metrics-servermetrics-server 就绪(1/1)。
验证资源指标:
kubectl top nodes输出 6 个节点的 CPU / 内存用量(首次可能需等待 1 分钟让指标聚合)。
获取登录 Token:
kubectl -n kube-system create token dashboard-admin【执行节点:运维终端】浏览器访问 https://172.22.30.121:30080,选择 Token 方式粘贴上一步输出登录。

3.3 安装命令行工具
【执行节点:172.22.30.121】
安装日志中依次安装了 helm、virtctl、docker-compose、istioctl、nerdctl、buildkitd。其余按需安装:
install -m 0755 /root/media/tools/helm /usr/local/bin/helm
install -m 0755 /root/media/tools/istioctl /usr/local/bin/istioctl
install -m 0755 /root/media/tools/nerdctl /usr/local/bin/nerdctl验证:
helm version --short # 期望 v3.10.0
istioctl version --remote=false
nerdctl version3.4 Istio 与可观测组件
【执行节点:172.22.30.121】
安装 Istio:
istioctl install --set profile=demo -y等待控制面与网关就绪:
kubectl -n istio-system get podsistiod、istio-ingressgateway、istio-egressgateway 均为 Running。
部署可观测组件:
kubectl apply -f /root/media/manifests/prometheus.yaml
kubectl apply -f /root/media/manifests/grafana.yaml
kubectl apply -f /root/media/manifests/kiali.yaml
kubectl apply -f /root/media/manifests/jaeger.yaml验证:
kubectl -n istio-system get pods
kubectl -n istio-system get svc预期:prometheus、grafana、kiali、jaeger 均为 Running;Service 暴露的 NodePort 与下表一致。



3.5 Harbor 镜像仓库(Helm 部署)
【执行节点:172.22.30.121】
创建命名空间并安装:
kubectl create namespace harbor
helm install harbor /root/media/charts/harbor -n harbor等待组件就绪并验证:
kubectl -n harbor get pods
kubectl -n harbor get svc
helm list -Aharbor-core、harbor-portal、harbor-jobservice、harbor-registry、harbor-registryctl、harbor-db、harbor-redis、harbor-chartmuseum、harbor-trivy、harbor-notary-server、harbor-notary-signer、nginx 等全部 Running;helm list -A 中 harbor 状态为 deployed。
服务可达性验证:
curl -I http://172.22.30.121返回 HTTP/1.1 200 OK。
Chart 关键配置(全部来自 Chart 默认 values):
客户端登录与推送测试:
nerdctl login 172.22.30.121 -u admin -p Harbor12345
nerdctl pull busybox:latest
nerdctl tag busybox:latest 172.22.30.121/library/busybox:latest
nerdctl --insecure-registry push 172.22.30.121/library/busybox:latestLogin Succeeded;推送完成并可在 Harbor 控制台 library 项目中看到该镜像。

3.6 Portainer(Helm 部署)
【执行节点:172.22.30.121】
helm install dashboard /root/media/charts/dashboard.tgz -n kube-system
kubectl -n kube-system get svc | grep portainerdashboard-portainer 显示 NodePort 9000:30777/TCP, 9443:30779/TCP, 30776:30776/TCP。
release 名为
dashboard(Chart 名为portainer-1.0.42),后续升级或卸载必须使用该名称。
浏览器访问 http://172.22.30.121:30777,首次登录设置管理员口令。

附录:
containerd 以 HTTP 方式从 Harbor 拉取镜像:
sed -i 's#config_path = ""#config_path = "/etc/containerd/certs.d"#' /etc/containerd/config.toml
mkdir -p /etc/containerd/certs.d/172.22.30.121
cat > /etc/containerd/certs.d/172.22.30.121/hosts.toml <<'EOF'
server = "http://172.22.30.121"
[host."http://172.22.30.121"]
capabilities = ["pull", "resolve", "push"]
skip_verify = true
EOF
systemctl restart containerd巡检命令
【执行节点:172.22.30.121】
kubectl get nodes -o wide
kubectl get pods -A | grep -v Running
kubectl describe pod <pod> -n <ns>
kubectl logs <pod> -n <ns> --tail=200
kubectl get sc
kubectl cluster-info
helm list -A
df -h ; free -m ; uptime
systemctl status kubelet containerd
journalctl -u kubelet -n 200
journalctl -u containerd -n 200
crictl ps备份
备份对象
【执行节点:172.22.30.121】etcd 快照:
mkdir -p /data/backup
ETCDCTL_API=3 etcdctl \
--endpoints=https://127.0.0.1:2379 \
--cacert=/etc/kubernetes/pki/etcd/ca.crt \
--cert=/etc/kubernetes/pki/etcd/server.crt \
--key=/etc/kubernetes/pki/etcd/server.key \
snapshot save /data/backup/etcd-$(date +%Y%m%d%H%M).db
ETCDCTL_API=3 etcdctl --write-out=table snapshot status /data/backup/etcd-*.dbetcd 恢复(高风险,须先备份现有数据):
systemctl stop kubelet
mv /var/lib/etcd /var/lib/etcd.bak.$(date +%Y%m%d%H%M)
ETCDCTL_API=3 etcdctl snapshot restore /data/backup/etcd-<时间戳>.db --data-dir=/var/lib/etcd
systemctl start kubelet
kubectl get nodes任何回滚前先留取现场快照与日志,并评估业务影响。