Kubernetes Pod、存储卷与rc及svc实践笔记
一、Pod 的状态与阶段
1. 容器的三种状态
| 状态 | 含义 |
|---|---|
| Running | 容器正在执行且没有问题 |
| Terminated | 容器正在终止 |
| Waiting | 不在 Running 或 Terminated 之一,仍在做启动前的准备(如拉取镜像),可看到 Reason 字段说明等待原因 |
2. Pod 的阶段
| 阶段 | 含义 |
|---|---|
| Pending | Pod 已被接受,但有容器尚未创建/运行,包含等待调度和下载镜像的时间 |
| Running | Pod 已绑定到节点,所有容器已创建,至少一个仍在运行或正在启动/重启 |
| Succeeded | 所有容器都成功终止,且不会再重启 |
| Failed | 所有容器都终止,且至少一个以非 0 状态退出或被系统终止、未设置自动重启 |
| Unknown | 无法获取 Pod 状态,通常是与 Pod 所在主机通信失败 |
二、Pod 常见状态及排查技巧
| 状态 | 含义 / 可能原因 |
|---|---|
| ImagePullBackOff | 镜像拉取失败:网络问题、镜像名写错、私有仓库无权限 |
| ContainerCreating | 容器创建阶段,含拉取镜像的时间 |
| Pending | 已接受但未调度:集群异常(如 CNI 未装)、指定节点不存在、端口冲突、节点被污点且无容忍 |
| CrashLoopBackOff | 至少一个容器在反复重启,常见原因是守护进程命令执行完就退出 |
| Completed | 容器正常退出、未被强制中断 |
| Running | 至少一个容器正常运行 |
| Init:1/2 | 初始化容器阶段,已完成 1 个、正在做第 2 个 |
| PodInitializing | Pod 处于初始化阶段 |
| ErrImageNeverPull | 镜像策略为 Never 且本地无缓存镜像 |
| OutOfcpu | CPU 资源不足 |
| OutOfmemory | 内存不足无法分配 |
| NodePorts | worker 节点端口冲突 |
| RunContainerError | 运行容器出错,用 kubectl describe 查详情 |
| ErrImagePull | 拉取失败:镜像名写错或没权限 |
| Terminating | 容器正在删除,一般不超过 60s |
| CreateContainerConfigError | 运行出错,一般是配置问题 |
| ContainerStatusUnknown | 重启策略为 Never 且工作节点上的容器被直接删掉,无法获取状态 |
排查时优先看
kubectl describe的 Events(由 kubelet 上报,前提是 Pod 已调度成功),再配合kubectl logs和kubectl exec。
三、故障排查:command / args
当容器启动失败时,可以改 command / args 把容器「强行拉起」,再进去排查。
spec:
nodeName: worker232
containers:
- image: harbor.example.com/demo-troubleshooting/demo-xixi:v0.1
name: mylinux
# 相当于修改 Dockerfile 的 ENTRYPOINT
command:
- tail
- -f
# 相当于修改 Dockerfile 的 CMD,会作为参数传给 command
args:
- /etc/hosts
说明:
command覆盖镜像的 ENTRYPOINT;args覆盖镜像的 CMD;- 两者可一起用,
args作为参数传给command,和 Dockerfile 的 ENTRYPOINT/CMD 关系类似。
四、kubectl explain 查看文档
kubectl explain pods
kubectl explain po.metadata
常见字段类型:
| 类型 | 含义 |
|---|---|
<string> | 字符串,多数情况可省略引号,数字/布尔建议加引号 |
<Object> | 对象,有下级字段,各字段平级、顺序可变 |
<map[string]string> | 键值对,key 和 value 都是字符串 |
<boolean> | 布尔值,true / false |
<[]Object> | 对象数组,每个分组用 - 区分 |
<integer> | 整型 |
-required- | 修饰符,带它的字段必填 |
资源名称(metadata.name)只能小写,有效字符为
.、-、数字和小写字母。
五、kubectl cp 文件拷贝
作用:实现宿主机和 Pod 之间的数据拷贝。
# Pod 目录 -> 宿主机目录
kubectl cp www.example.com-demo-class-002:/demo-xixi/ ./xixi
# Pod 文件 -> 宿主机并更名
kubectl cp www.example.com-demo-class-002:/demo-xixi/os-release ./xixi
# 宿主机文件 -> Pod 根目录
kubectl cp kube-flannel.yml www.example.com-demo-class-002:/
# 宿主机目录 -> Pod
kubectl cp download www.example.com-demo-class-002:/
# 指定容器并更名(多容器时用 -c)
kubectl cp -c mylinux download www.example.com-demo-class-002:/haha-download
技巧:
- 源是目录则拷贝后仍是目录,源是文件则拷贝后仍是文件;
- 多个容器时用
-c指定容器。
六、kubectl logs 查看日志
# 实时查看
kubectl logs -f xiuxian-v1
# 查看上一个容器(容器重启前)的日志,前提是旧容器还在
kubectl logs -f xiuxian-v1 -p
# 查看指定时间之后的日志
kubectl logs -f xiuxian-v1 --since-time=2024-07-31T03:45:41Z
# 显示时间戳
kubectl logs -f xiuxian-v1 --since-time=2024-07-31T03:45:41Z --timestamps
如果重启前的旧容器已被删除,
-p会报previous terminated container ... not found。
七、emptyDir:同 Pod 多容器共享数据
emptyDir 生命周期跟随 Pod,适合同一个 Pod 内多个容器共享数据(如 web 日志、日志采集)。
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-emptydir-002
spec:
nodeName: worker232
volumes:
- name: data
emptyDir: {}
containers:
- image: harbor.example.com/demo-web/xiuxian:v2
name: xiuxian
volumeMounts:
- name: data
mountPath: /xixi
- image: harbor.example.com/demo-linux/alpine:3.20.2
name: alpine
stdin: true
volumeMounts:
- name: data
mountPath: /haha
验证:
kubectl cp /etc/os-release -c xiuxian xiuxian-emptydir-002:/xixi
kubectl exec xiuxian-emptydir-002 -c xiuxian -- ls -l /xixi
kubectl exec xiuxian-emptydir-002 -c alpine -- ls -l /haha
# 两个容器能看到相同的内容,说明共享了存储卷
emptyDir 特点:
- 删除 Pod 内某个容器时,数据不丢失;
- 删除整个 Pod 时数据丢失(生命周期随 Pod);
- 能实现同一个 Pod 不同容器间的数据共享。
八、hostPath + env:容器访问宿主机目录
hostPath 让 Pod 挂载 worker 节点的指定目录,无论删 Pod 还是删容器数据都不丢。
以 Elasticsearch 单节点为例:
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-hostpath-es
labels:
apps: es7
spec:
nodeName: worker232
volumes:
- name: data
hostPath:
path: /demo/data/elasticsearch
containers:
- image: harbor.example.com/demo-elasticstack/elasticsearch:7.17.16
name: xiuxian
env:
- name: discovery.type
value: single-node
- name: SCHOOL
value: demo
- name: Class
value: Demo-Class
volumeMounts:
- name: data
mountPath: /usr/share/elasticsearch/data
准备宿主机目录:
mkdir -pv /demo/data/elasticsearch && chmod +777 /demo/data/elasticsearch
验证:
kubectl apply -f 07-pods-volume-hostPath.yaml
kubectl get pods -o wide -l apps=es7 --show-labels
curl 10.100.1.28:9200
curl -X PUT 10.100.1.28:9200/demo-class
删除 Pod 后重新创建,再查索引,数据仍在,说明 hostPath 数据持久。
九、存储卷数据路径查找
1. emptyDir 在宿主机的位置
- 先看 Pod 调度到哪个节点;
- 用 Pod 名到对应节点过滤出 Pod 的 UID;
- 数据在:
ll /var/lib/kubelet/pods/<Pod的UID>/volumes/kubernetes.io~empty-dir/<存储卷名称>/
2. hostPath 的位置
直接看 kubectl describe 的 Volumes 段:
Volumes:
data:
Type: HostPath (bare host directory volume)
Path: /demo/data/elasticsearch
HostPathType:
十、emptyDir 与 hostPath 的局限
emptyDir无法实现同一节点不同 Pod 的数据共享(每个 Pod 的 emptyDir 是独立的);hostPath无法实现不同节点 Pod 的数据共享(它绑定的是单节点上的本地目录)。
跨节点共享要用 nfs 这类共享存储。
十一、Pod 数据持久化之 nfs
1. 各节点安装 nfs 工具
apt -y install nfs-kernel-server
2. 配置 nfs 服务端(master 上)
mkdir -pv /demo/data/nfs-server
echo "/demo/data/nfs-server *(rw,no_root_squash)" >> /etc/exports
systemctl restart nfs-server
showmount -e
3. 编写 nfs 存储卷资源清单
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-nfs-001
spec:
nodeName: worker232
volumes:
- name: data
nfs:
server: 10.0.0.231
path: /demo/data/nfs-server
containers:
- image: harbor.example.com/demo-web/xiuxian:v2
name: xiuxian
volumeMounts:
- name: data
mountPath: /xixi
---
apiVersion: v1
kind: Pod
metadata:
name: xiuxian-nfs-002
spec:
nodeName: worker233
volumes:
- name: data
nfs:
server: 10.0.0.231
path: /demo/data/nfs-server
containers:
- image: harbor.example.com/demo-web/xiuxian:v2
name: xiuxian
volumeMounts:
- name: data
mountPath: /xixi
两个 Pod 分布在不同节点,但都挂载同一份 nfs 目录,因此能实现跨节点数据共享。
十二、nfs + env + MySQL 案例
1. 创建 nfs 目录
mkdir -pv /demo/data/nfs-server/mysql80/
chmod +777 /demo/data/nfs-server/mysql80/
2. 资源清单
apiVersion: v1
kind: Pod
metadata:
name: mysql-002
labels:
apps: mysql80
spec:
nodeName: worker232
volumes:
- name: data
nfs:
server: 10.0.0.231
path: /demo/data/nfs-server/mysql80
containers:
- image: harbor.example.com/demo-db/mysql:8.3.0-oracle
name: mysql
env:
- name: MYSQL_ROOT_PASSWORD
value: demo
- name: MYSQL_DATABASE
value: wordpress
- name: MYSQL_USER
value: demo-class
- name: MYSQL_PASSWORD
value: "123"
volumeMounts:
- name: data
mountPath: /var/lib/mysql
3. 验证
kubectl exec mysql-002 -- env
kubectl exec -it mysql-002 -- mysql -pdemo
mysql> SHOW DATABASES;
mysql> use wordpress;
mysql> CREATE TABLE student(id INT PRIMARY KEY AUTO_INCREMENT,name VARCHAR(255) NOT NULL,hobby VARCHAR(255) NOT NULL);
mysql> INSERT INTO student(name,hobby) VALUE ('Demo','Sleep 10');
mysql> SELECT * FROM student;
删除 Pod 后重新创建,再查库表,数据仍在,说明通过 nfs + env 实现了 MySQL 数据持久化。
十三、Pod 容器的三种类型
| 类型 | 说明 |
|---|---|
| 基础架构容器 | 最先启动,由 K8s 自身维护(如 pause 容器),为初始化容器和业务容器提供网络命名空间 |
| 初始化容器(initContainers) | 优先于业务容器启动,做初始化工作;可定义多个,全部执行完才运行业务容器 |
| 业务容器(containers) | 实际运行业务的容器 |
apiVersion: v1
kind: Pod
metadata:
name: pause-initcontainers-containers-001
spec:
nodeName: worker232
initContainers:
- name: init01
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
command: ["sleep", "30"]
- name: init02
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
command: ["/bin/sh", "-c", "touch /haha"]
containers:
- image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
name: xiuxian
十四、初始化容器与业务容器数据共享
初始化容器一般用来给业务容器做初始化工作,可以借助存储卷把初始化结果传给业务容器。
apiVersion: v1
kind: Pod
metadata:
name: initcontainers-containers-volumes-001
spec:
nodeName: worker232
volumes:
- name: data
emptyDir: {}
initContainers:
- name: init01
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
volumeMounts:
- name: data
mountPath: /xixi
command: ["/bin/sh", "-c", "date >> /xixi/init01.log"]
- name: init02
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
volumeMounts:
- name: data
mountPath: /haha
command: ["/bin/sh", "-c", "echo www.example.com >> /haha/init02.log"]
containers:
- image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
name: xiuxian
volumeMounts:
- name: data
mountPath: /data
验证业务容器数据:
kubectl exec -it initcontainers-containers-volumes-001 -- sh
cat /data/init01.log # 时间
cat /data/init02.log # www.example.com
初始化容器是一次性的:kill 业务容器后,业务容器会按策略重启,但初始化容器不会重新执行。
十五、rc 控制器(ReplicationController)
作用:保证指定数量的 Pod 副本始终存活,底层基于标签管理 Pod。
apiVersion: v1
kind: ReplicationController
metadata:
name: xiuxian-rc
spec:
replicas: 3
selector:
apps: xiuxian
template:
metadata:
labels:
apps: xiuxian
school: demo
class: demo-class
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
name: xiuxian
kubectl get rc
# NAME DESIRED CURRENT READY AGE
# xiuxian-rc 3 3 3 3m4s
kubectl get pods --show-labels -o wide
删除 rc 时会自动删除它创建出来的 Pod。
十六、svc 四层代理:ClusterIP
Service 基于标签关联后端 Pod,提供负载均衡和服务发现,为客户端提供统一访问入口。
apiVersion: v1
kind: Service
metadata:
name: xiuxian-svc-clusterip
spec:
type: ClusterIP
selector:
school: demo
apps: xiuxian
ports:
- port: 88 # svc 端口
targetPort: 80 # Pod 端口
svc 的四种类型:ClusterIP(默认,集群内 VIP)、NodePort(在 ClusterIP 基础上给所有节点加端口映射)、LoadBalancer、ExternalName。
负载均衡验证
给不同副本写入不同首页内容,再用 svc 的 VIP 循环访问,能看到请求被轮询到不同 Pod:
kubectl exec -it <pod1> -- sh -c "echo 111 > /usr/share/nginx/html/index.html"
kubectl exec -it <pod2> -- sh -c "echo 222 > /usr/share/nginx/html/index.html"
kubectl exec -it <pod3> -- sh -c "echo 333 > /usr/share/nginx/html/index.html"
for i in `seq 10`; do curl 10.200.236.32:88; done
服务发现
kubectl describe svc xiuxian-svc-clusterip
# Endpoints: 10.100.1.56:80,10.100.2.17:80,10.100.2.18:80
用 kubectl edit rc xiuxian-rc 把 replicas 改小后,svc 的 Endpoints 会随之自动更新,说明服务发现是动态的。
十七、svc 四层代理:NodePort
apiVersion: v1
kind: Service
metadata:
name: xiuxian-svc-nodeport
spec:
type: NodePort
selector:
school: demo
apps: xiuxian
ports:
- port: 88
targetPort: 80
nodePort: 30080 # 不指定则从 30000-32767 随机
kubectl apply -f 02-nodePort-xiuxian.yaml
kubectl get -f 02-nodePort-xiuxian.yaml
# TYPE NodePort, CLUSTER-IP 10.200.40.89, PORT(S) 88:30080/TCP
# 任意 worker 节点的 nodePort 都能访问
curl http://10.0.0.233:30080/
curl http://10.0.0.232:30080/
curl http://10.0.0.231:30080/
NodePort 本质是在各节点添加了 iptables 的 DNAT 映射规则。
十八、总结
- Pod 阶段有 Pending / Running / Succeeded / Failed / Unknown,容器状态有 Running / Terminated / Waiting;
- 排查 Pod 问题常用
kubectl describe(看 Events)、kubectl logs、kubectl exec、kubectl cp、kubectl explain; command覆盖 ENTRYPOINT,args覆盖 CMD,排查启动失败时可用它们临时拉起容器;- 存储卷:emptyDir 随 Pod、同 Pod 多容器共享;hostPath 绑定单节点目录、删 Pod 不丢;nfs 跨节点共享;
- Pod 容器分三种:基础架构容器、初始化容器、业务容器;初始化容器一次性执行;
- rc 基于标签保证副本数存活,删除 rc 会连带删除其 Pod;
- svc 提供四层代理:ClusterIP 是集群内 VIP,NodePort 在节点上做端口映射,本质是 iptables DNAT;
- svc 通过 selector 关联 Pod,Endpoints 随副本变化自动更新,实现服务发现与负载均衡。