Kubernetes知识入门与kubeadm集群部署
一、Docker 与 Kubernetes 时间简史
先厘清一个概念:Docker 是容器运行时/引擎,Kubernetes 是容器编排工具,两者不在同一个层面。K8s 早期把 Docker 当作默认容器运行时使用。
时间线
| 年份 | 事件 |
|---|---|
| 2013 | Docker 开源(基于 Go 编写) |
| 2014 | Google 开源 Kubernetes(K8s),底层使用 Docker 作为容器运行时;同期有 Docker Swarm,coreOS 自研 rkt 并开源 Flannel |
| 2015 | Google 将 K8s 捐献给 CNCF;K8s 不再由 Google 单独主导,Google 与 RedHat 贡献最大,国内外厂商纷纷加入 |
| 2016 | K8s 在容器编排市场基本胜出;CNCF 推出 CRI 接口,使符合规范的运行时都能接入 K8s;Google 牵头实现 docker-shim 调用 Docker API |
| 2017 | Docker 将 containerd 捐给 CNCF;社区为 containerd 补齐 CRI,K8s 1.11 后可直接使用 containerd |
| 2018 | RedHat 收购 coreOS,rkt 停止维护 |
| 2019 | Mirantis 收购 Docker 公司,承诺 Swarm 至少再维护 2 年,重心转向 K8s |
| 2020 | CNCF 宣布弃用 Docker 运行时,改用 containerd 作为底层容器运行时 |
| 2022 | K8s 1.24 起弃用 docker-shim;Mirantis 与 Docker 表示会继续维护该组件 |
| 2024 | K8s 1.30 发布 |
对开发和运维的影响(2022 弃用后)
- 开发:基本无影响,照常使用;
- 运维:部署时若想继续用 Docker 运行时,需要独立部署
cri-dockerd组件。
二、生产环境 K8s 版本选择
- 推荐 1.23.17,这是官方支持 Docker 容器运行时的最后一个版本;
- 更高版本仍可用 Docker,但需要手动部署
cri-dockerd; - 市场上使用较多的版本有 1.13、1.15、1.17、1.19、1.21、1.22、1.23。
三、K8s 是什么、能解决什么问题
Kubernetes(K8s)是容器编排工具,负责管理容器的生命周期、集群调度、日志、监控和维护等。
单独使用 Docker 的缺陷:
- 容器重启后 IP 可能变化,跨主机互联不方便;
- 不便于集群调度;
- 不方便集群监控和管理;
- 不便于做健康检查和故障恢复;
- 跨节点存储卷挂载维护不方便;
- 多节点容器的配置共享困难。
这些问题 K8s 基本都能解决。
四、为什么要学习 K8s
- 能解决 Docker 的跨节点问题(部署、监控、调度、配置等);
- 提高运维效率,并支持 Jenkins 做 CI/CD;
- 运维岗位招聘中 K8s 基本成为标配;
- 知识积累,利于职业发展。
五、K8s 架构
1. Master(后期更名为 control-plane,控制平面)
master 不部署业务服务,负责管理 worker 节点。
| 组件 | 作用 | 默认端口 |
|---|---|---|
| etcd | 键值对数据库(Go 编写,非 K8s 官方组件),存储 K8s 数据,支持集群方式部署 | 2379–2380 |
| api-server | 集群控制的访问入口,维护者操作 K8s 的入口 | 8080(http)/ 6443(https,默认) |
| scheduler | 负责把容器调度到合适的 worker node | |
| controller-manager | 控制器管理器,维护集群状态 |
2. Slave(后期更名为 worker node,工作节点)
slave 部署实际业务服务,供客户端访问。
| 组件 | 作用 |
|---|---|
| kubelet | 负责容器的生命周期(创建、删除、修改、监控),并把状态上报给 api-server |
| kube-proxy | 为访问容器提供服务发现和负载均衡,底层支持 iptables 与 ipvs,生产推荐 ipvs |
3. CNI
为容器提供跨主机节点通信的网络,例如 Flannel。
六、K8s 的三种网络类型
| 网络 | 用途 | 示例网段 |
|---|---|---|
| 各组件通信网络 | 节点之间物理网络 | 10.0.0.0/24 |
| 跨节点容器(Pod)网络 | Pod 之间通信 | 10.100.0.0/16 |
| Service 网络 | 负载均衡与服务发现 | 10.200.0.0/16 |
规划网段时要考虑 IP 数量:10.100.0.0/16 约 65536 个 IP,规模更大时可考虑 10.0.0.0/8;Service 网段同理。
七、K8s 常见部署方式对比及 CNCF
1. 官方部署方式
| 方式 | 说明 |
|---|---|
| 二进制部署 | 手动部署各组件、配置、启动脚本、证书、kubeconfig,对新手不友好,熟练者 2 小时起步 |
| kubeadm | 官方快速部署工具,镜像就绪时基于容器方式部署,新手 1–2 分钟即可完成;需提前安装 kubelet、docker/containerd、kubeadm |
2. 第三方部署方式
国内:
- 青云科技 kubesphere:基于 kubeadm,提供丰富图形界面;
- kuboard:基于 kubeadm,提供图形界面;
- kubeasz:基于二进制 + Ansible playbook。
国外:
- rancher:类似 kubesphere 的 K8s 发行商,并提供轻量级 K8s 发行版 K3s。
云厂商:
- 阿里云 ACK、腾讯云 TKE、华为云 CCE、京东云 Kubernetes 等。
其他:
- minikube:适合 Windows 上的开发环境,不建议生产;
- kind:可部署多套 K8s,轻量命令行工具;
- yum:不推荐,默认版本较低(1.5.2)。
3. CNCF 技术蓝图
https://landscape.cncf.io/
八、Harbor 基于自建证书的 HTTPS
与上一讲「官方签发证书」不同,本节用 OpenSSL 自建 CA 给 Harbor 签证书。
1. 部署 docker 和 docker-compose
tar xf demo-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i
docker --version
docker-compose --version
2. 安装 Harbor 并准备证书目录
tar xf harbor-offline-installer-v2.7.4.tgz -C /demo/softwares/
mkdir -pv /demo/softwares/harbor/certs/{ca,harbor-server,docker-client}
三个目录的用途:
ca:自建 CA 证书;harbor-server:Harbor 服务端证书;docker-client:客户端连接时使用的证书。
3. 生成自建 CA
cd /demo/softwares/harbor/certs
# 1. CA 私钥
openssl genrsa -out ca/ca.key 4096
# 2. 基于 CA 私钥生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=example.com" \
-key ca/ca.key \
-out ca/ca.crt
# 3. 查看证书信息
openssl x509 -in ca/ca.crt -noout -text
4. 生成并签发 Harbor 服务器证书
# 服务器私钥
openssl genrsa -out harbor-server/harbor.example.com.key 4096
# 签发证书请求 CSR
openssl req -sha512 -new \
-subj "/C=CN/ST=Beijing/L=Beijing/O=example/OU=Personal/CN=harbor.example.com" \
-key harbor-server/harbor.example.com.key \
-out harbor-server/harbor.example.com.csr
# x509 v3 扩展文件
cat > harbor-server/v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=harbor.example.com
EOF
# 用 CA 签发服务器证书
openssl x509 -req -sha512 -days 3650 \
-extfile harbor-server/v3.ext \
-CA ca/ca.crt -CAkey ca/ca.key -CAcreateserial \
-in harbor-server/harbor.example.com.csr \
-out harbor-server/harbor.example.com.crt
5. 修改 harbor.yml 并安装
hostname: harbor.example.com
https:
port: 443
certificate: /demo/softwares/harbor/certs/harbor-server/harbor.example.com.crt
private_key: /demo/softwares/harbor/certs/harbor-server/harbor.example.com.key
harbor_admin_password: 1
data_volume: /demo/data/harbor
cd /demo/softwares/harbor
cp harbor.yml{.tmpl,}
./install.sh --with-chartmuseum
访问 https://harbor.example.com/harbor/projects/1/helm-charts 验证。
Windows 需要在本机 hosts 中添加:
10.0.0.250 harbor.example.com。
九、K8s 集群节点配置 docker 客户端证书
1. K8s 所有节点安装 docker 并配 hosts
tar xf demo-autoinstall-docker-docker-compose.tar.gz
./install-docker.sh i
cat >> /etc/hosts << EOF
10.0.0.250 harbor.example.com
10.0.0.231 master231
10.0.0.232 worker232
10.0.0.233 worker233
EOF
2. 生成 docker 客户端证书
在 Harbor 节点把服务器证书转为客户端 .cert 格式:
openssl x509 -inform PEM \
-in harbor-server/harbor.example.com.crt \
-out docker-client/harbor.example.com.cert
# 把 key 和 CA 也放到 docker-client
cp harbor-server/harbor.example.com.key docker-client/
cp ca/ca.crt docker-client/
3. 分发证书到各节点
证书目录必须与域名一致:
mkdir -pv /etc/docker/certs.d/harbor.example.com/
scp docker-client/* 10.0.0.231:/etc/docker/certs.d/harbor.example.com/
scp docker-client/* 10.0.0.232:/etc/docker/certs.d/harbor.example.com/
scp docker-client/* 10.0.0.233:/etc/docker/certs.d/harbor.example.com/
4. 登录验证
docker login -u admin -p 1 harbor.example.com
# Login Succeeded
常见报错:
x509: certificate signed by unknown authority
原因是没有把自建证书拷贝到 /etc/docker/certs.d/harbor.example.com/,补上后重新登录即可。
十、K8s 各节点环境准备
所有节点(master 和 worker)都要做,除非特别说明。
1. 关闭 swap 分区
swapoff -a && sysctl -w vm.swappiness=0 # 临时关闭
sed -ri '/^[^#]*swap/s@^@#@' /etc/fstab # 基于配置文件关闭
2. 确保 MAC 地址和 product_uuid 唯一
ifconfig ens33 | grep ether | awk '{print $2}'
cat /sys/class/dmi/id/product_uuid
K8s 用这些值唯一确定节点,虚拟机克隆时可能出现重复,会导致安装失败。
3. 检查节点网络互通
ping baidu.com -c 10
ping master231 -c 10
4. 允许 iptables 检查桥接流量
cat <<EOF | tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF
cat <<EOF | tee /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system
5. 检查端口是否被占用
参考官方端口和协议列表,确认 master、worker 各组件所需端口没有被占用。
6. cgroup 驱动改为 systemd
docker info | grep "Cgroup Driver:"
# Cgroup Driver: systemd
不改的话默认是
cgroupfs,初始化 master 节点会失败。
十一、安装 kubeadm / kubelet / kubectl
1. 软件包说明
| 软件包 | 作用 |
|---|---|
| kubeadm | 初始化 K8s 集群的工具 |
| kubelet | 每个节点上启动 Pod 和容器的组件 |
| kubectl | 与集群通信的命令行工具 |
kubeadm 不会帮你安装或管理 kubelet、kubectl,要保证三者与控制平面版本匹配。控制平面与 kubelet 允许相差一个次要版本,但 kubelet 版本不能超过 api-server。
2. 配置阿里云软件源
apt-get update && apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
3. 查看可用版本
apt-cache madison kubeadm
4. 安装 1.23.17
apt-get -y install kubelet=1.23.17-00 kubeadm=1.23.17-00 kubectl=1.23.17-00
5. 检查版本
kubeadm version
kubectl version
kubelet --version
三个节点都要检查,确保版本一致。装好后关机拍快照,方便出错回滚。
十二、kubeadm 初始化 master
1. 初始化
kubeadm init \
--kubernetes-version=v1.23.17 \
--image-repository registry.aliyuncs.com/google_containers \
--pod-network-cidr=10.100.0.0/16 \
--service-cidr=10.200.0.0/16 \
--service-dns-domain=example.com
参数说明:
| 参数 | 含义 |
|---|---|
--kubernetes-version | 指定 master 组件版本 |
--image-repository | 指定下载 master 组件镜像的仓库地址 |
--pod-network-cidr | 指定 Pod 网段 |
--service-cidr | 指定 Service 网段 |
--service-dns-domain | 指定 Service 域名,默认 cluster.local |
初始化成功后会输出 kubeadm join ... 命令,token 默认保留 24 小时,要保存好(每个人的 token 不同)。
2. kubeadm init 输出信息解析
| 阶段 | 说明 |
|---|---|
[init] | 使用初始化的 K8s 版本 |
[preflight] | 前置检查,如下载镜像(取决于网速) |
[certs] | 生成证书,默认存 /etc/kubernetes/pki |
[kubeconfig] | 生成默认配置,存 /etc/kubernetes |
[kubelet-start] | 启动 kubelet,环境变量写入 /var/lib/kubelet/kubeadm-flags.env,配置写入 /var/lib/kubelet/config.yaml |
[control-plane] | 创建静态 Pod(kube-apiserver、kube-controller-manager、kube-scheduler),清单在 /etc/kubernetes/manifests |
[etcd] | 创建 etcd 静态 Pod |
[wait-control-plane] | 等待 kubelet 启动静态 Pod |
[apiclient] | 等待 master 组件正常运行 |
[upload-config] | 在 kube-system 创建 kubeadm-config ConfigMap |
[kubelet] | 在 kube-system 创建 kubelet-config ConfigMap |
[upload-certs] | 上传证书(默认跳过) |
[mark-control-plane] | 给 master 打标签和污点 |
[bootstrap-token] | 创建加入集群用的 token |
[kubelet-finalize] | 更新 kubelet 证书 |
[addons] | 添加 CoreDNS、kube-proxy 等附加组件 |
3. 拷贝授权文件
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
4. 查看集群状态
kubectl get cs
# scheduler / controller-manager / etcd-0 均为 Healthy
kubectl get nodes
# master231 NotReady control-plane,master v1.23.17
此时节点是
NotReady,因为 Pod 网络(CNI)还没部署。
十三、kubeadm 部署 worker
1. worker 节点加入集群
在 worker 节点执行初始化时输出的 kubeadm join 命令(务必用自己生成的 token,不要复制别人的):
kubeadm join 10.0.0.231:6443 \
--token <自己的token> \
--discovery-token-ca-cert-hash sha256:<自己的hash>
2. master 查看节点
kubectl get nodes
# master231 NotReady control-plane,master v1.23.17
# worker232 NotReady <none> v1.23.17
# worker233 NotReady <none> v1.23.17
组件已经部署成功,但容器网络还没就绪,所以各节点仍是
NotReady。
十四、部署 Flannel CNI 并验证 Pod 网络
1. 所有节点导入镜像
无法翻墙时手动导入 Flannel 镜像:
wget http://<下载服务器>/softwares/demo-flannel-cni-plugin-v1.5.1.tar.gz
docker load -i demo-flannel-cni-plugin-v1.5.1.tar.gz
2. 下载并安装 Flannel
wget http://<下载服务器>/softwares/kube-flannel.yml
kubectl apply -f kube-flannel.yml
创建的资源包括 namespace、serviceaccount、clusterrole、configmap、daemonset 等。
3. 检查 Flannel 和节点状态
kubectl get pods -o wide -n kube-flannel
kubectl get nodes
# 三个节点变为 Ready
4. 验证跨节点 Pod 网络
编写两个 Pod,分别调度到 worker232 和 worker233:
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-v1
spec:
nodeName: worker232
containers:
- image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
name: xiuxian
---
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-v2
spec:
nodeName: worker233
containers:
- image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
name: xiuxian
kubectl apply -f demo-network-cni.yaml
kubectl get pods -o wide
# xiuxian-v1 10.100.1.3 worker232
# xiuxian-v2 10.100.2.3 worker233
curl 10.100.1.3
curl 10.100.2.3
能返回页面内容,说明 Flannel 的 Pod 网络已打通。清理:
kubectl delete -f demo-network-cni.yaml
十五、kubectl 自动补全
kubectl completion bash > ~/.kube/completion.bash.inc
echo "source $HOME/.kube/completion.bash.inc" >> ~/.bashrc
source ~/.bashrc
输入 kubectl 后连续按两次 Tab 即可看到命令补全。
十六、K8s 集群时区设置
所有节点执行:
ln -svf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
date -R
# +0800
十七、快照拍摄与集群可用性验证
1. 关机拍快照
集群搭建完成后关机拍快照,方便回滚。
2. 验证
# 补全
kubectl # 按 Tab
# 节点
kubectl get nodes
# CNI 组件
kubectl get pods -n kube-flannel -o wide
# 网络(重新创建 Pod 后 curl)
kubectl get pods -o wide
curl 10.100.x.x
十八、总结
- K8s 是容器编排工具,解决 Docker 跨节点的调度、监控、健康检查、存储和配置共享问题;
- K8s 架构分控制平面(etcd / api-server / scheduler / controller-manager)和工作节点(kubelet / kube-proxy),网络由 CNI 提供;
- K8s 三种网络:节点网络、Pod 网络、Service 网络,规划时要考虑 IP 数量;
- 部署方式首选 kubeadm,国内可用阿里云镜像源和
registry.aliyuncs.com/google_containers; - 环境准备要点:关 swap、MAC/uuid 唯一、开 br_netfilter 与 ip_forward、cgroup 驱动用 systemd;
kubeadm init后保存好 token(24 小时有效),worker 用kubeadm join加入;- 没装 CNI 前节点是
NotReady,装上 Flannel 后变Ready; - Harbor 自建证书 HTTPS:OpenSSL 自建 CA 签服务器证书,客户端把 CA 放到
/etc/docker/certs.d/<域名>/即可信任。