2
0

Kubernetes Job与CronJob、DaemonSet及Pod调度与污点

2026-11-01
Kubernetes Job与CronJob、DaemonSet及Pod调度与污点

一、WordPress 连接集群外部的 MySQL

数据库用容器部署在集群外部(如 Harbor 节点),WordPress 用 Deployment 部署 3 副本,通过 ep + svc 连接外部数据库。

1. 集群外部部署 MySQL

docker run -d --network host --name mysql-server \
  -e MYSQL_ROOT_PASSWORD=demo \
  -e MYSQL_DATABASE=demo_wp \
  -e MYSQL_USER=demo-class \
  -e MYSQL_PASSWORD=123 \
  harbor.example.com/demo-db/mysql:8.3.0-oracle

ss -ntl | grep 3306

2. 创建 ep + svc 映射外部 MySQL

apiVersion: v1
kind: Endpoints
metadata:
  name: demo-mysql
subsets:
- addresses:
  - ip: 10.0.0.250
  ports:
  - port: 3306
    name: mysql
---
apiVersion: v1
kind: Service
metadata:
  name: demo-mysql
spec:
  type: ClusterIP
  ports:
  - port: 3306
    name: mysql

3. 创建 Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-wordpress
spec:
  replicas: 3
  selector:
    matchLabels:
      apps: wp
  template:
    metadata:
      labels:
        apps: wp
    spec:
      containers:
      - image: harbor.example.com/demo-web/wordpress
        name: wp
        env:
        - name: WORDPRESS_DB_HOST
          value: demo-mysql
        - name: WORDPRESS_DB_NAME
          value: demo_wp
        - name: WORDPRESS_DB_USER
          value: demo-class
        - name: WORDPRESS_DB_PASSWORD
          value: "123"

4. 创建 LoadBalancer 类型的 svc 暴露

apiVersion: v1
kind: Service
metadata:
  name: wp-svc-lb
spec:
  type: LoadBalancer
  loadBalancerIP: 10.0.0.166
  selector:
    apps: wp
  ports:
  - port: 80
    targetPort: 80
    nodePort: 3080

二、Pod 重启策略 restartPolicy

重启策略指容器启动命令退出时是否重启(重建)容器。有效值 Always / OnFailure / Never,默认 Always。

值行为
Always容器一退出就重启
OnFailure正常退出不重启,异常退出才重启
Never始终不重启
spec:
  restartPolicy: Always
  containers:
  - image: harbor.example.com/demo-troubleshooting/stress:v0.1
    name: stress
    command: ["sleep", "60"]

验证:kill 容器后观察,Always 和 OnFailure 的容器会被重建(RESTARTS 加 1),Never 的容器变为 Error 不再重启。

三、Job 控制器

应用场景:一次性任务,容器任务只执行一次。

apiVersion: batch/v1
kind: Job
metadata:
  name: demo-jobs-pi
spec:
  template:
    spec:
      restartPolicy: Never
      containers:
      - name: pi
        image: harbor.example.com/demo-troubleshooting/perl:5.34.0
        command: ["perl", "-Mbignum=bpi", "-wle", "print bpi(2000)"]
  backoffLimit: 4   # 失败重试次数,默认 6;每次重试会新建 Pod
kubectl get jobs,po
# job 1/1 Completed
kubectl logs <job-pod>
# 3.14159265...

## 四、基于 Job 的数据库备份与恢复

### 1. 备份

```yaml
apiVersion: batch/v1
kind: Job
metadata:
  name: demo-mysql-backup
spec:
  template:
    spec:
      volumes:
      - name: db
        nfs:
          server: master231
          path: /demo/data/nfs-server/backup/mysql80
      containers:
      - name: mysql
        image: harbor.example.com/demo-db/mysql:8.3.0-oracle
        volumeMounts:
        - name: db
          mountPath: /data
        command:
        - /bin/bash
        - -c
        - "mysqldump -u demo-class -p123 -h demo-mysql --databases demo_wp > /data/wordpress.sql"
      restartPolicy: Never
  backoffLimit: 0

备份完成后检查 nfs 目录里的 wordpress.sql。

2. 恢复

先在集群内用 Deployment 部署一个空 MySQL:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deloy-mysql
spec:
  replicas: 1
  selector:
    matchLabels:
      apps: mysql
  template:
    metadata:
      labels:
        apps: mysql
    spec:
      containers:
      - name: db
        image: harbor.example.com/demo-db/mysql:8.3.0-oracle
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: demo

再用 Job 把备份还原:

apiVersion: batch/v1
kind: Job
metadata:
  name: demo-mysql-recover
spec:
  template:
    spec:
      volumes:
      - name: db
        nfs:
          server: master231
          path: /demo/data/nfs-server/backup/mysql80
      containers:
      - name: mysql
        image: harbor.example.com/demo-db/mysql:8.3.0-oracle
        command:
        - /bin/bash
        - -c
        - "mysql -u root -pdemo -h demo-mysql-svc < /data/wordpress.sql"
        volumeMounts:
        - name: db
          mountPath: /data
      restartPolicy: Never
  backoffLimit: 0

验证 SHOW DATABASES 和 wp_users 表确认数据恢复完整。

3. 多库备份(脚本 + nfs)

把备份逻辑写成脚本挂载进来:

#!/bin/bash
mysqldump -u demo-class -p123 -h demo-mysql --databases demo_wp > /data/wordpress-`date +%F`.sql
mysqldump -u demo-class -p123 -h demo-mysql --databases demo > /data/demo-`date +%F`.sql
sleep 10

Job 里挂载两个 nfs 卷:数据目录和脚本目录,command: ["/bin/bash", "-x", "/scripts/backup.sh"]。

授权提示:外部数据库的用户默认只对指定库有权限,备份/恢复别的库前先 GRANT ALL PRIVILEGES ON \库名`.* TO `用户`@`%`;`。

五、CronJob 控制器

作用:周期性地调用 Job 执行一次性任务。schedule 对应「分 时 日 月 周」。

apiVersion: batch/v1
kind: CronJob
metadata:
  name: hello
spec:
  schedule: "* * * * *"      # 每分钟执行一次
  jobTemplate:
    spec:
      template:
        spec:
          containers:
          - name: hello
            image: harbor.example.com/demo-linux/alpine:3.20.2
            imagePullPolicy: IfNotPresent
            command: ["/bin/sh", "-c", "date; echo Hello from the Kubernetes cluster"]
          restartPolicy: OnFailure
kubectl get cj,jobs,pods
# 每分钟生成一个 hello-* Job 和对应 Pod

六、DaemonSet 控制器

让每个 worker 节点有且仅有一个 Pod。

典型用法:每节点集群守护进程、日志收集、监控采集。

常见应用:zabbix-agent、filebeat、node-exporter、flannel、kube-proxy 等。

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: ds-xiuxian
spec:
  selector:
    matchLabels:
      apps: xiuxian
  template:
    metadata:
      labels:
        apps: xiuxian
    spec:
      containers:
      - name: xiuxian
        image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
kubectl apply -f 01-ds-web.yaml
kubectl get pods -o wide
# 每个 worker 节点一个 Pod

为什么 master231 没有 DaemonSet Pod?因为 master 节点打了 node-role.kubernetes.io/master:NoSchedule 污点,要调度上去需要配置容忍。

七、Pod 调度方式

1. nodeName:指定节点

spec:
  nodeName: worker232   # 直接指定节点,scheduler 不参与调度

nodeName 的值必须在 etcd 中有记录,写 IP 不行。

2. hostNetwork:使用宿主机网络

spec:
  hostNetwork: true

3. hostPort:暴露宿主机端口

spec:
  containers:
  - name: xiuxian
    image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
    ports:
    - containerPort: 80
      hostPort: 8888

每个节点的 hostPort 只能被一个 Pod 占用,多副本时可能出现 Pending(端口冲突)。

4. resources:按资源调度

spec:
  containers:
  - name: c1
    image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
    resources:
      requests:
        cpu: 0.5
        memory: 200Mi
      limits:
        cpu: 4
        memory: 8Gi

节点资源不满足 requests 时,Pod 无法调度过去。

八、污点 taints

污点作用在节点上,让不匹配的 Pod 避开该节点。

kubectl describe nodes | grep Taints

# 打污点
kubectl taint node worker233 school=demo:NoSchedule

# 删除以 school 开头的污点
kubectl taint node worker233 school-

# 删除特定污点
kubectl taint node worker233 school=demo:NoSchedule-

# 同 effect 的 key 已存在时,修改 value 要 --overwrite
kubectl taint node worker233 school=test:NoSchedule --overwrite

effect 取值:

effect行为
NoSchedule不接受新 Pod 调度,已有 Pod 不驱逐
PreferNoSchedule尽量不调度,但非强制(软性)
NoExecute不接受新调度,并立刻驱逐已调度 Pod

注意事项:

  1. effect 不同,即使 key、value 相同也是不同污点;
  2. effect 相同、value 不同属于同一个污点,覆盖需 --overwrite;
  3. 一个节点可以打多个污点;
  4. NoExecute 比较霸道,会立即驱逐,非必要尽量用 NoSchedule。

九、污点容忍 tolerations

Pod 想调度到有污点的节点,就要容忍该节点的污点。

spec:
  tolerations:
  - key: class
    value: demo-class
    effect: NoSchedule
  - key: school
    value: demo
    effect: NoExecute
  - key: node-role.kubernetes.io/master
    effect: NoSchedule
  containers:
  - name: c1
    image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2

operator 取值:Equal(默认,key/value 都匹配)和 Exists(只匹配 key,value 可省略)。

无视所有污点:

spec:
  tolerations:
  - operator: Exists   # 容忍所有污点,除非明确需要,否则尽量不用
  containers:
  - name: c1
    image: registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2

## 十、总结

1. 集群外部的服务通过「手工 ep + 同名 svc(不写 selector)」映射,Pod 用 svc 名称访问;
2. Pod 重启策略:Always(默认)、OnFailure、Never;
3. Job 做一次性任务,`backoffLimit` 控制失败重试次数,每次重试新建 Pod;
4. CronJob 用 `schedule` 周期调用 Job,做周期性备份;
5. DaemonSet 每个 worker 节点一个 Pod,适合日志/监控/网络守护进程;
6. Pod 调度方式:nodeName、hostNetwork、hostPort、resources,以及污点 taints / 容忍 tolerations;
7. 污点 effect:NoSchedule / PreferNoSchedule / NoExecute(NoExecute 会立即驱逐);
8. 容忍用 `tolerations`,`operator: Exists` 可匹配所有值、甚至无视所有污点,需谨慎使用。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!