Kubernetes Job与CronJob、DaemonSet及Pod调度与污点
一、WordPress 连接集群外部的 MySQL
数据库用容器部署在集群外部(如 Harbor 节点),WordPress 用 Deployment 部署 3 副本,通过 ep + svc 连接外部数据库。
1. 集群外部部署 MySQL
docker run -d --network host --name mysql-server \
-e MYSQL_ROOT_PASSWORD=demo \
-e MYSQL_DATABASE=demo_wp \
-e MYSQL_USER=demo-class \
-e MYSQL_PASSWORD=123 \
harbor.example.com/demo-db/mysql:8.3.0-oracle
ss -ntl | grep 3306
2. 创建 ep + svc 映射外部 MySQL
apiVersion: v1
kind: Endpoints
metadata:
name: demo-mysql
subsets:
- addresses:
- ip: 10.0.0.250
ports:
- port: 3306
name: mysql
---
apiVersion: v1
kind: Service
metadata:
name: demo-mysql
spec:
type: ClusterIP
ports:
- port: 3306
name: mysql
3. 创建 Deployment
apiVersion: apps/v1
kind: Deployment
metadata:
name: deploy-wordpress
spec:
replicas: 3
selector:
matchLabels:
apps: wp
template:
metadata:
labels:
apps: wp
spec:
containers:
- image: harbor.example.com/demo-web/wordpress
name: wp
env:
- name: WORDPRESS_DB_HOST
value: demo-mysql
- name: WORDPRESS_DB_NAME
value: demo_wp
- name: WORDPRESS_DB_USER
value: demo-class
- name: WORDPRESS_DB_PASSWORD
value: "123"
4. 创建 LoadBalancer 类型的 svc 暴露
apiVersion: v1
kind: Service
metadata:
name: wp-svc-lb
spec:
type: LoadBalancer
loadBalancerIP: 10.0.0.166
selector:
apps: wp
ports:
- port: 80
targetPort: 80
nodePort: 3080
二、Pod 重启策略 restartPolicy
重启策略指容器启动命令退出时是否重启(重建)容器。有效值 Always / OnFailure / Never,默认 Always。
| 值 | 行为 |
|---|---|
| Always | 容器一退出就重启 |
| OnFailure | 正常退出不重启,异常退出才重启 |
| Never | 始终不重启 |
spec:
restartPolicy: Always
containers:
- image: harbor.example.com/demo-troubleshooting/stress:v0.1
name: stress
command: ["sleep", "60"]
验证:kill 容器后观察,Always 和 OnFailure 的容器会被重建(RESTARTS 加 1),Never 的容器变为 Error 不再重启。
三、Job 控制器
应用场景:一次性任务,容器任务只执行一次。
apiVersion: batch/v1
kind: Job
metadata:
name: demo-jobs-pi
spec:
template:
spec:
restartPolicy: Never
containers:
- name: pi
image: harbor.example.com/demo-troubleshooting/perl:5.34.0
command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
backoffLimit: 4 # 失败重试次数,默认 6;每次重试会新建 Pod
kubectl get jobs,po
# job 1/1 Completed
kubectl logs <job-pod>
# 3.14159265...
## 四、基于 Job 的数据库备份与恢复
### 1. 备份
```yaml
apiVersion: batch/v1
kind: Job
metadata:
name: demo-mysql-backup
spec:
template:
spec:
volumes:
- name: db
nfs:
server: master231
path: /demo/data/nfs-server/backup/mysql80
containers:
- name: mysql
image: harbor.example.com/demo-db/mysql:8.3.0-oracle
volumeMounts:
- name: db
mountPath: /data
command:
- /bin/bash
- -c
- "mysqldump -u demo-class -p123 -h demo-mysql --databases demo_wp > /data/wordpress.sql"
restartPolicy: Never
backoffLimit: 0
备份完成后检查 nfs 目录里的 wordpress.sql。
2. 恢复
先在集群内用 Deployment 部署一个空 MySQL:
apiVersion: apps/v1
kind: Deployment
metadata:
name: deloy-mysql
spec:
replicas: 1
selector:
matchLabels:
apps: mysql
template:
metadata:
labels:
apps: mysql
spec:
containers:
- name: db
image: harbor.example.com/demo-db/mysql:8.3.0-oracle
env:
- name: MYSQL_ROOT_PASSWORD
value: demo
再用 Job 把备份还原:
apiVersion: batch/v1
kind: Job
metadata:
name: demo-mysql-recover
spec:
template:
spec:
volumes:
- name: db
nfs:
server: master231
path: /demo/data/nfs-server/backup/mysql80
containers:
- name: mysql
image: harbor.example.com/demo-db/mysql:8.3.0-oracle
command:
- /bin/bash
- -c
- "mysql -u root -pdemo -h demo-mysql-svc < /data/wordpress.sql"
volumeMounts:
- name: db
mountPath: /data
restartPolicy: Never
backoffLimit: 0
验证 SHOW DATABASES 和 wp_users 表确认数据恢复完整。
3. 多库备份(脚本 + nfs)
把备份逻辑写成脚本挂载进来:
#!/bin/bash
mysqldump -u demo-class -p123 -h demo-mysql --databases demo_wp > /data/wordpress-`date +%F`.sql
mysqldump -u demo-class -p123 -h demo-mysql --databases demo > /data/demo-`date +%F`.sql
sleep 10
Job 里挂载两个 nfs 卷:数据目录和脚本目录,command: ["/bin/bash", "-x", "/scripts/backup.sh"]。
授权提示:外部数据库的用户默认只对指定库有权限,备份/恢复别的库前先
GRANT ALL PRIVILEGES ON \库名`.* TO `用户`@`%`;`。
五、CronJob 控制器
作用:周期性地调用 Job 执行一次性任务。schedule 对应「分 时 日 月 周」。
apiVersion: batch/v1
kind: CronJob
metadata:
name: hello
spec:
schedule: "* * * * *" # 每分钟执行一次
jobTemplate:
spec:
template:
spec:
containers:
- name: hello
image: harbor.example.com/demo-linux/alpine:3.20.2
imagePullPolicy: IfNotPresent
command: ["/bin/sh", "-c", "date; echo Hello from the Kubernetes cluster"]
restartPolicy: OnFailure
kubectl get cj,jobs,pods
# 每分钟生成一个 hello-* Job 和对应 Pod
六、DaemonSet 控制器
让每个 worker 节点有且仅有一个 Pod。
典型用法:每节点集群守护进程、日志收集、监控采集。
常见应用:zabbix-agent、filebeat、node-exporter、flannel、kube-proxy 等。
apiVersion: apps/v1
kind: DaemonSet
metadata:
name: ds-xiuxian
spec:
selector:
matchLabels:
apps: xiuxian
template:
metadata:
labels:
apps: xiuxian
spec:
containers:
- name: xiuxian
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
kubectl apply -f 01-ds-web.yaml
kubectl get pods -o wide
# 每个 worker 节点一个 Pod
为什么 master231 没有 DaemonSet Pod?因为 master 节点打了
node-role.kubernetes.io/master:NoSchedule污点,要调度上去需要配置容忍。
七、Pod 调度方式
1. nodeName:指定节点
spec:
nodeName: worker232 # 直接指定节点,scheduler 不参与调度
nodeName的值必须在 etcd 中有记录,写 IP 不行。
2. hostNetwork:使用宿主机网络
spec:
hostNetwork: true
3. hostPort:暴露宿主机端口
spec:
containers:
- name: xiuxian
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
ports:
- containerPort: 80
hostPort: 8888
每个节点的 hostPort 只能被一个 Pod 占用,多副本时可能出现 Pending(端口冲突)。
4. resources:按资源调度
spec:
containers:
- name: c1
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
resources:
requests:
cpu: 0.5
memory: 200Mi
limits:
cpu: 4
memory: 8Gi
节点资源不满足 requests 时,Pod 无法调度过去。
八、污点 taints
污点作用在节点上,让不匹配的 Pod 避开该节点。
kubectl describe nodes | grep Taints
# 打污点
kubectl taint node worker233 school=demo:NoSchedule
# 删除以 school 开头的污点
kubectl taint node worker233 school-
# 删除特定污点
kubectl taint node worker233 school=demo:NoSchedule-
# 同 effect 的 key 已存在时,修改 value 要 --overwrite
kubectl taint node worker233 school=test:NoSchedule --overwrite
effect 取值:
| effect | 行为 |
|---|---|
| NoSchedule | 不接受新 Pod 调度,已有 Pod 不驱逐 |
| PreferNoSchedule | 尽量不调度,但非强制(软性) |
| NoExecute | 不接受新调度,并立刻驱逐已调度 Pod |
注意事项:
- effect 不同,即使 key、value 相同也是不同污点;
- effect 相同、value 不同属于同一个污点,覆盖需
--overwrite; - 一个节点可以打多个污点;
- NoExecute 比较霸道,会立即驱逐,非必要尽量用 NoSchedule。
九、污点容忍 tolerations
Pod 想调度到有污点的节点,就要容忍该节点的污点。
spec:
tolerations:
- key: class
value: demo-class
effect: NoSchedule
- key: school
value: demo
effect: NoExecute
- key: node-role.kubernetes.io/master
effect: NoSchedule
containers:
- name: c1
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
operator 取值:Equal(默认,key/value 都匹配)和 Exists(只匹配 key,value 可省略)。
无视所有污点:
spec:
tolerations:
- operator: Exists # 容忍所有污点,除非明确需要,否则尽量不用
containers:
- name: c1
image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
## 十、总结
1. 集群外部的服务通过「手工 ep + 同名 svc(不写 selector)」映射,Pod 用 svc 名称访问;
2. Pod 重启策略:Always(默认)、OnFailure、Never;
3. Job 做一次性任务,`backoffLimit` 控制失败重试次数,每次重试新建 Pod;
4. CronJob 用 `schedule` 周期调用 Job,做周期性备份;
5. DaemonSet 每个 worker 节点一个 Pod,适合日志/监控/网络守护进程;
6. Pod 调度方式:nodeName、hostNetwork、hostPort、resources,以及污点 taints / 容忍 tolerations;
7. 污点 effect:NoSchedule / PreferNoSchedule / NoExecute(NoExecute 会立即驱逐);
8. 容忍用 `tolerations`,`operator: Exists` 可匹配所有值、甚至无视所有污点,需谨慎使用。