2
0

Kubernetes知识入门与kubeadm集群部署

2026-11-01
Kubernetes知识入门与kubeadm集群部署

一、Docker 与 Kubernetes 时间简史

先厘清一个概念:Docker 是容器运行时/引擎,Kubernetes 是容器编排工具,两者不在同一个层面。K8s 早期把 Docker 当作默认容器运行时使用。

时间线

年份事件
2013Docker 开源(基于 Go 编写)
2014Google 开源 Kubernetes(K8s),底层使用 Docker 作为容器运行时;同期有 Docker Swarm,coreOS 自研 rkt 并开源 Flannel
2015Google 将 K8s 捐献给 CNCF;K8s 不再由 Google 单独主导,Google 与 RedHat 贡献最大,国内外厂商纷纷加入
2016K8s 在容器编排市场基本胜出;CNCF 推出 CRI 接口,使符合规范的运行时都能接入 K8s;Google 牵头实现 docker-shim 调用 Docker API
2017Docker 将 containerd 捐给 CNCF;社区为 containerd 补齐 CRI,K8s 1.11 后可直接使用 containerd
2018RedHat 收购 coreOS,rkt 停止维护
2019Mirantis 收购 Docker 公司,承诺 Swarm 至少再维护 2 年,重心转向 K8s
2020CNCF 宣布弃用 Docker 运行时,改用 containerd 作为底层容器运行时
2022K8s 1.24 起弃用 docker-shim;Mirantis 与 Docker 表示会继续维护该组件
2024K8s 1.30 发布

对开发和运维的影响(2022 弃用后)

  • 开发:基本无影响,照常使用;
  • 运维:部署时若想继续用 Docker 运行时,需要独立部署 cri-dockerd 组件。

二、生产环境 K8s 版本选择

  1. 推荐 1.23.17,这是官方支持 Docker 容器运行时的最后一个版本;
  2. 更高版本仍可用 Docker,但需要手动部署 cri-dockerd;
  3. 市场上使用较多的版本有 1.13、1.15、1.17、1.19、1.21、1.22、1.23。

三、K8s 是什么、能解决什么问题

Kubernetes(K8s)是容器编排工具,负责管理容器的生命周期、集群调度、日志、监控和维护等。

单独使用 Docker 的缺陷:

  1. 容器重启后 IP 可能变化,跨主机互联不方便;
  2. 不便于集群调度;
  3. 不方便集群监控和管理;
  4. 不便于做健康检查和故障恢复;
  5. 跨节点存储卷挂载维护不方便;
  6. 多节点容器的配置共享困难。

这些问题 K8s 基本都能解决。

四、为什么要学习 K8s

  1. 能解决 Docker 的跨节点问题(部署、监控、调度、配置等);
  2. 提高运维效率,并支持 Jenkins 做 CI/CD;
  3. 运维岗位招聘中 K8s 基本成为标配;
  4. 知识积累,利于职业发展。

五、K8s 架构

1. Master(后期更名为 control-plane,控制平面)

master 不部署业务服务,负责管理 worker 节点。

组件作用默认端口
etcd键值对数据库(Go 编写,非 K8s 官方组件),存储 K8s 数据,支持集群方式部署2379–2380
api-server集群控制的访问入口,维护者操作 K8s 的入口8080(http)/ 6443(https,默认)
scheduler负责把容器调度到合适的 worker node
controller-manager控制器管理器,维护集群状态

2. Slave(后期更名为 worker node,工作节点)

slave 部署实际业务服务,供客户端访问。

组件作用
kubelet负责容器的生命周期(创建、删除、修改、监控),并把状态上报给 api-server
kube-proxy为访问容器提供服务发现和负载均衡,底层支持 iptables 与 ipvs,生产推荐 ipvs

3. CNI

为容器提供跨主机节点通信的网络,例如 Flannel。

六、K8s 的三种网络类型

网络用途示例网段
各组件通信网络节点之间物理网络10.0.0.0/24
跨节点容器(Pod)网络Pod 之间通信10.100.0.0/16
Service 网络负载均衡与服务发现10.200.0.0/16

规划网段时要考虑 IP 数量:10.100.0.0/16 约 65536 个 IP,规模更大时可考虑 10.0.0.0/8;Service 网段同理。

七、K8s 常见部署方式对比及 CNCF

1. 官方部署方式

方式说明
二进制部署手动部署各组件、配置、启动脚本、证书、kubeconfig,对新手不友好,熟练者 2 小时起步
kubeadm官方快速部署工具,镜像就绪时基于容器方式部署,新手 1–2 分钟即可完成;需提前安装 kubelet、docker/containerd、kubeadm

2. 第三方部署方式

国内:

  • 青云科技 kubesphere:基于 kubeadm,提供丰富图形界面;
  • kuboard:基于 kubeadm,提供图形界面;
  • kubeasz:基于二进制 + Ansible playbook。

国外:

  • rancher:类似 kubesphere 的 K8s 发行商,并提供轻量级 K8s 发行版 K3s。

云厂商:

  • 阿里云 ACK、腾讯云 TKE、华为云 CCE、京东云 Kubernetes 等。

其他:

  • minikube:适合 Windows 上的开发环境,不建议生产;
  • kind:可部署多套 K8s,轻量命令行工具;
  • yum:不推荐,默认版本较低(1.5.2)。

3. CNCF 技术蓝图

https://landscape.cncf.io/

八、Harbor 基于自建证书的 HTTPS

与上一讲「官方签发证书」不同,本节用 OpenSSL 自建 CA 给 Harbor 签证书。

1. 部署 docker 和 docker-compose

tar xf demo-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i

docker --version
docker-compose --version

2. 安装 Harbor 并准备证书目录

tar xf harbor-offline-installer-v2.7.4.tgz -C /demo/softwares/
mkdir -pv /demo/softwares/harbor/certs/{ca,harbor-server,docker-client}

三个目录的用途:

  • ca:自建 CA 证书;
  • harbor-server:Harbor 服务端证书;
  • docker-client:客户端连接时使用的证书。

3. 生成自建 CA

cd /demo/softwares/harbor/certs

# 1. CA 私钥
openssl genrsa -out ca/ca.key 4096

# 2. 基于 CA 私钥生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
  -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=example.com" \
  -key ca/ca.key \
  -out ca/ca.crt

# 3. 查看证书信息
openssl x509 -in ca/ca.crt -noout -text

4. 生成并签发 Harbor 服务器证书

# 服务器私钥
openssl genrsa -out harbor-server/harbor.example.com.key 4096

# 签发证书请求 CSR
openssl req -sha512 -new \
  -subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=harbor.example.com" \
  -key harbor-server/harbor.example.com.key \
  -out harbor-server/harbor.example.com.csr

# x509 v3 扩展文件
cat > harbor-server/v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=harbor.example.com
EOF

# 用 CA 签发服务器证书
openssl x509 -req -sha512 -days 3650 \
  -extfile harbor-server/v3.ext \
  -CA ca/ca.crt -CAkey ca/ca.key -CAcreateserial \
  -in harbor-server/harbor.example.com.csr \
  -out harbor-server/harbor.example.com.crt

5. 修改 harbor.yml 并安装

hostname: harbor.example.com

https:
  port: 443
  certificate: /demo/softwares/harbor/certs/harbor-server/harbor.example.com.crt
  private_key: /demo/softwares/harbor/certs/harbor-server/harbor.example.com.key

harbor_admin_password: 1
data_volume: /demo/data/harbor
cd /demo/softwares/harbor
cp harbor.yml{.tmpl,}
./install.sh --with-chartmuseum

访问 https://harbor.example.com/harbor/projects/1/helm-charts 验证。

Windows 需要在本机 hosts 中添加:10.0.0.250 harbor.example.com。

九、K8s 集群节点配置 docker 客户端证书

1. K8s 所有节点安装 docker 并配 hosts

tar xf demo-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i

cat >> /etc/hosts << EOF
10.0.0.250 harbor.example.com
10.0.0.231 master231
10.0.0.232 worker232
10.0.0.233 worker233
EOF

2. 生成 docker 客户端证书

在 Harbor 节点把服务器证书转为客户端 .cert 格式:

openssl x509 -inform PEM \
  -in harbor-server/harbor.example.com.crt \
  -out docker-client/harbor.example.com.cert

# 把 key 和 CA 也放到 docker-client
cp harbor-server/harbor.example.com.key docker-client/
cp ca/ca.crt docker-client/

3. 分发证书到各节点

证书目录必须与域名一致:

mkdir -pv /etc/docker/certs.d/harbor.example.com/

scp docker-client/* 10.0.0.231:/etc/docker/certs.d/harbor.example.com/
scp docker-client/* 10.0.0.232:/etc/docker/certs.d/harbor.example.com/
scp docker-client/* 10.0.0.233:/etc/docker/certs.d/harbor.example.com/

4. 登录验证

docker login -u admin -p 1 harbor.example.com
# Login Succeeded

常见报错:

x509: certificate signed by unknown authority

原因是没有把自建证书拷贝到 /etc/docker/certs.d/harbor.example.com/,补上后重新登录即可。

十、K8s 各节点环境准备

所有节点(master 和 worker)都要做,除非特别说明。

1. 关闭 swap 分区

swapoff -a && sysctl -w vm.swappiness=0          # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab           # 基于配置文件关闭

2. 确保 MAC 地址和 product_uuid 唯一

ifconfig ens33 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid

K8s 用这些值唯一确定节点,虚拟机克隆时可能出现重复,会导致安装失败。

3. 检查节点网络互通

ping baidu.com -c 10
ping master231 -c 10

4. 允许 iptables 检查桥接流量

cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF

sysctl --system

5. 检查端口是否被占用

参考官方端口和协议列表,确认 master、worker 各组件所需端口没有被占用。

6. cgroup 驱动改为 systemd

docker info | grep "Cgroup Driver:"
# Cgroup Driver: systemd

不改的话默认是 cgroupfs,初始化 master 节点会失败。

十一、安装 kubeadm / kubelet / kubectl

1. 软件包说明

软件包作用
kubeadm初始化 K8s 集群的工具
kubelet每个节点上启动 Pod 和容器的组件
kubectl与集群通信的命令行工具

kubeadm 不会帮你安装或管理 kubelet、kubectl,要保证三者与控制平面版本匹配。控制平面与 kubelet 允许相差一个次要版本,但 kubelet 版本不能超过 api-server。

2. 配置阿里云软件源

apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -

cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF

apt-get update

3. 查看可用版本

apt-cache madison kubeadm

4. 安装 1.23.17

apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00

5. 检查版本

kubeadm version
kubectl version
kubelet --version

三个节点都要检查,确保版本一致。装好后关机拍快照,方便出错回滚。

十二、kubeadm 初始化 master

1. 初始化

kubeadm init \
  --kubernetes-version=v1.23.17 \
  --image-repository registry.aliyuncs.com/google_containers \
  --pod-network-cidr=10.100.0.0/16 \
  --service-cidr=10.200.0.0/16 \
  --service-dns-domain=example.com

参数说明:

参数含义
--kubernetes-version指定 master 组件版本
--image-repository指定下载 master 组件镜像的仓库地址
--pod-network-cidr指定 Pod 网段
--service-cidr指定 Service 网段
--service-dns-domain指定 Service 域名,默认 cluster.local

初始化成功后会输出 kubeadm join ... 命令,token 默认保留 24 小时,要保存好(每个人的 token 不同)。

2. kubeadm init 输出信息解析

阶段说明
[init]使用初始化的 K8s 版本
[preflight]前置检查,如下载镜像(取决于网速)
[certs]生成证书,默认存 /etc/kubernetes/pki
[kubeconfig]生成默认配置,存 /etc/kubernetes
[kubelet-start]启动 kubelet,环境变量写入 /var/lib/kubelet/kubeadm-flags.env,配置写入 /var/lib/kubelet/config.yaml
[control-plane]创建静态 Pod(kube-apiserver、kube-controller-manager、kube-scheduler),清单在 /etc/kubernetes/manifests
[etcd]创建 etcd 静态 Pod
[wait-control-plane]等待 kubelet 启动静态 Pod
[apiclient]等待 master 组件正常运行
[upload-config]在 kube-system 创建 kubeadm-config ConfigMap
[kubelet]在 kube-system 创建 kubelet-config ConfigMap
[upload-certs]上传证书(默认跳过)
[mark-control-plane]给 master 打标签和污点
[bootstrap-token]创建加入集群用的 token
[kubelet-finalize]更新 kubelet 证书
[addons]添加 CoreDNS、kube-proxy 等附加组件

3. 拷贝授权文件

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

4. 查看集群状态

kubectl get cs
# scheduler / controller-manager / etcd-0 均为 Healthy

kubectl get nodes
# master231  NotReady  control-plane,master  v1.23.17

此时节点是 NotReady,因为 Pod 网络(CNI)还没部署。

十三、kubeadm 部署 worker

1. worker 节点加入集群

在 worker 节点执行初始化时输出的 kubeadm join 命令(务必用自己生成的 token,不要复制别人的):

kubeadm join 10.0.0.231:6443 \
  --token <自己的token> \
  --discovery-token-ca-cert-hash sha256:<自己的hash>

2. master 查看节点

kubectl get nodes
# master231   NotReady  control-plane,master  v1.23.17
# worker232   NotReady  <none>                v1.23.17
# worker233   NotReady  <none>                v1.23.17

组件已经部署成功,但容器网络还没就绪,所以各节点仍是 NotReady。

十四、部署 Flannel CNI 并验证 Pod 网络

1. 所有节点导入镜像

无法翻墙时手动导入 Flannel 镜像:

wget http://<下载服务器>/softwares/demo-flannel-cni-plugin-v1.5.1.tar.gz
docker load -i demo-flannel-cni-plugin-v1.5.1.tar.gz

2. 下载并安装 Flannel

wget http://<下载服务器>/softwares/kube-flannel.yml
kubectl apply -f kube-flannel.yml

创建的资源包括 namespace、serviceaccount、clusterrole、configmap、daemonset 等。

3. 检查 Flannel 和节点状态

kubectl get pods -o wide -n kube-flannel
kubectl get nodes
# 三个节点变为 Ready

4. 验证跨节点 Pod 网络

编写两个 Pod,分别调度到 worker232 和 worker233:

apiVersion: v1
kind: Pod
metadata:
  name: xiuxian-v1
spec:
  nodeName: worker232
  containers:
  - image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
    name: xiuxian
---
apiVersion: v1
kind: Pod
metadata:
  name: xiuxian-v2
spec:
  nodeName: worker233
  containers:
  - image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
    name: xiuxian
kubectl apply -f demo-network-cni.yaml
kubectl get pods -o wide
# xiuxian-v1  10.100.1.3  worker232
# xiuxian-v2  10.100.2.3  worker233

curl 10.100.1.3
curl 10.100.2.3

能返回页面内容,说明 Flannel 的 Pod 网络已打通。清理:

kubectl delete -f demo-network-cni.yaml

十五、kubectl 自动补全

kubectl completion bash > ~/.kube/completion.bash.inc
echo "source $HOME/.kube/completion.bash.inc" >> ~/.bashrc
source ~/.bashrc

输入 kubectl 后连续按两次 Tab 即可看到命令补全。

十六、K8s 集群时区设置

所有节点执行:

ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
date -R
# +0800

十七、快照拍摄与集群可用性验证

1. 关机拍快照

集群搭建完成后关机拍快照,方便回滚。

2. 验证

# 补全
kubectl   # 按 Tab

# 节点
kubectl get nodes

# CNI 组件
kubectl get pods -n kube-flannel -o wide

# 网络(重新创建 Pod 后 curl)
kubectl get pods -o wide
curl 10.100.x.x

十八、总结

  1. K8s 是容器编排工具,解决 Docker 跨节点的调度、监控、健康检查、存储和配置共享问题;
  2. K8s 架构分控制平面(etcd / api-server / scheduler / controller-manager)和工作节点(kubelet / kube-proxy),网络由 CNI 提供;
  3. K8s 三种网络:节点网络、Pod 网络、Service 网络,规划时要考虑 IP 数量;
  4. 部署方式首选 kubeadm,国内可用阿里云镜像源和 registry.aliyuncs.com/google_containers;
  5. 环境准备要点:关 swap、MAC/uuid 唯一、开 br_netfilter 与 ip_forward、cgroup 驱动用 systemd;
  6. kubeadm init 后保存好 token(24 小时有效),worker 用 kubeadm join 加入;
  7. 没装 CNI 前节点是 NotReady,装上 Flannel 后变 Ready;
  8. Harbor 自建证书 HTTPS:OpenSSL 自建 CA 签服务器证书,客户端把 CA 放到 /etc/docker/certs.d/<域名>/ 即可信任。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!