5
0

K8S下的jenkins-slave实现devops实施链

2026-10-19
2026-10-20
K8S下的jenkins-slave实现devops实施链

一、环境规划说明

1.1适用环境与前置条件

  • 集群:Kubernetes v1.25.2,控制面 172.22.30.121,Pod 网段 10.244.0.0/16,Service 网段 10.96.0.0/16。

  • 容器运行时:containerd 1.6.21;默认 StorageClass 为 nfs-storage;kube-apiserver 的 service-node-port-range 为 1-65535。

  • 镜像仓库:Harbor 2.6.1(HTTP,80 端口),地址 http://172.22.30.121,管理账号 admin/Harbor12345,项目 library 已创建。

  • 离线介质:Jenkins-Slave 软件包(含 images.tar、apache-maven、repository、cloud-manager 源码、manifests、plugins)。

  • 节点本地防火墙已关闭,端口放通由硬件防火墙承担。

1.2 端口与访问入口规划

服务

NodePort

容器端口

访问地址(浏览器验证)

Jenkins Web

30880

8080

http://172.22.30.121:30880

Jenkins JNLP

30500

50000

仅 Master/Agent 内部通信

GitLab

30888

80

http://172.22.30.121:30888

RabbitMQ 管理台

30672

15672

http://172.22.30.121:30672

Nacos

30848

8848

http://172.22.30.121:30848/nacos

cloud-manager(业务)

30998

9998

http://172.22.30.121:30998

Harbor

80

80

http://172.22.30.121(平台组件,已存在)


二、架构与流水线设计

2.1 分层架构

控制面(Jenkins)、构建供应链(动态 Slave + DinD + Harbor)、运行面(业务 Deployment + 中间件)三层分离,制品单向流动,治理与可观测性贯穿全链路。

2.2 流水线闭环

代码提交 GitLab 后由 Webhook 触发 Jenkins 流水线,依次完成检出、编译与测试、镜像构建、推送 Harbor、发布 Kubernetes、健康检查与浏览器验证;任一阶段失败立即回滚并告警。


三、环境准备:镜像导入与 Harbor 接入

3.1 Harbor 项目与账号准备

在 Harbor 控制台确认存在 library 项目(本环境已存在);为生产建议新建 Robot Account,仅授予 library 项目 pull/push 权限,替代 admin 账号。以下命令与配置均以 admin/Harbor12345 为例,生产环境务必替换为 Robot Account。

3.2 离线镜像导入并推送到 Harbor

将 Jenkins-Slave 软件包解压后,在控制面节点执行镜像导入,并按实际版本重打 tag 后推送到 Harbor。

tar -zxvf Jenkins-Slave.tar-k8s1.25.gz -C /opt/
cd /opt/Jenkins-Slave
ctr -n k8s.io images import images/images.tar
​
# 查看离线包中的实际镜像与版本(以实际输出为准,用于固化版本)
ctr -n k8s.io images ls
​
# 重打 tag 并推送到 Harbor
ctr -n k8s.io images tag docker.io/library/maven:3.8.2-openjdk-8 172.22.30.121/library/maven:3.8.2-openjdk-8
ctr -n k8s.io images push --plain-http --user admin:Harbor12345 172.22.30.121/library/maven:3.8.2-openjdk-8
​
ctr -n k8s.io images tag docker.io/library/openjdk:8-jdk-alpine 172.22.30.121/library/openjdk:8-jdk-alpine
ctr -n k8s.io images push --plain-http --user admin:Harbor12345 172.22.30.121/library/openjdk:8-jdk-alpine
​
ctr -n k8s.io images tag docker.io/library/cloud-ui:latest 172.22.30.121/library/cloud-ui:latest
ctr -n k8s.io images push --plain-http --user admin:Harbor12345 172.22.30.121/library/cloud-ui:latest
​
# Jenkins / inbound-agent / dind / GitLab 等基础镜像按同样方式导入并推送
ctr -n k8s.io images tag docker.io/jenkins/jenkins:latest 172.22.30.121/library/jenkins:latest
ctr -n k8s.io images push --plain-http --user admin:Harbor12345 172.22.30.121/library/jenkins:latest

3.3 containerd 私有仓库 HTTP 信任配置(所有节点)

本环境 Harbor 为 HTTP 明文内网仓库,containerd 需按附录 E 的方式声明信任,否则 Pod 无法拉取镜像。以下配置在全部 6 个节点执行。

sed -i 's#config_path = ""#config_path = "/etc/containerd/certs.d"#' /etc/containerd/config.toml
mkdir -p /etc/containerd/certs.d/172.22.30.121
cat > /etc/containerd/certs.d/172.22.30.121/hosts.toml <<'EOF'
server = "http://172.22.30.121"
​
[host."http://172.22.30.121"]
  capabilities = ["pull", "resolve", "push"]
  skip_verify = true
EOF
systemctl restart containerd

3.4 验证镜像链路

# 在任意节点验证:能够通过 Harbor 拉取镜像
crictl pull 172.22.30.121/library/maven:3.8.2-openjdk-8

预期:镜像拉取成功;若报 http: server gave HTTP response to HTTPS client,说明 3.3 的信任配置未生效,请重新执行并重启 containerd。


四、部署 Jenkins(生产化)

4.1 命名空间、ServiceAccount 与最小权限 RBAC

原文档绑定 cluster-admin 风险过大。生产环境使用命名空间级 Role/RoleBinding,仅授予 Jenkins 在 jenkins 命名空间内创建动态 Agent 与部署业务应用所需的最小权限。

cat > jenkins-rbac.yaml <<'EOF'
apiVersion: v1
kind: Namespace
metadata:
  name: jenkins
---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins
  namespace: jenkins
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: jenkins
  namespace: jenkins
rules:
- apiGroups: [""]
  resources: ["pods", "pods/log", "pods/exec", "secrets", "configmaps", "services", "persistentvolumeclaims"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
- apiGroups: ["apps"]
  resources: ["deployments", "statefulsets"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
- apiGroups: ["batch"]
  resources: ["jobs", "cronjobs"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: jenkins
  namespace: jenkins
subjects:
- kind: ServiceAccount
  name: jenkins
  namespace: jenkins
roleRef:
  kind: Role
  name: jenkins
  apiGroup: rbac.authorization.k8s.io
---
# 业务应用部署在 default 命名空间,另建一套对 default 的最小授权
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: jenkins-deployer
  namespace: default
rules:
- apiGroups: ["apps"]
  resources: ["deployments"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
- apiGroups: [""]
  resources: ["services", "configmaps", "secrets"]
  verbs: ["get", "list", "watch", "create", "update", "patch", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: jenkins-deployer
  namespace: default
subjects:
- kind: ServiceAccount
  name: jenkins
  namespace: jenkins
roleRef:
  kind: Role
  name: jenkins-deployer
  apiGroup: rbac.authorization.k8s.io
EOF
kubectl apply -f jenkins-rbac.yaml

4.2 持久化存储 PVC

cat > jenkins-pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: jenkins-home
  namespace: jenkins
spec:
  accessModes: ["ReadWriteOnce"]
  storageClassName: nfs-storage
  resources:
    requests:
      storage: 20Gi
EOF
kubectl apply -f jenkins-pvc.yaml

4.3 Deployment

去除 privileged 与能力提权,补充 seccomp、探针与资源限制;PVC 容量建议 20Gi 以上并纳入备份。

cat > jenkins-deploy.yaml <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jenkins
  namespace: jenkins
  labels:
    app: jenkins
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jenkins
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      serviceAccountName: jenkins
      securityContext:
        runAsUser: 0
        runAsGroup: 0
        fsGroup: 0
        seccompProfile:
          type: RuntimeDefault
      containers:
      - name: jenkins
        image: 172.22.30.121/library/jenkins:latest
        imagePullPolicy: IfNotPresent
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            drop: ["NET_RAW", "MKNOD"]
        ports:
        - name: web
          containerPort: 8080
        - name: agent
          containerPort: 50000
        resources:
          requests:
            cpu: 500m
            memory: 1Gi
          limits:
            cpu: "2"
            memory: 4Gi
        livenessProbe:
          httpGet: {path: /login, port: web}
          initialDelaySeconds: 90
          periodSeconds: 20
          timeoutSeconds: 5
          failureThreshold: 3
        readinessProbe:
          httpGet: {path: /login, port: web}
          initialDelaySeconds: 30
          periodSeconds: 10
        volumeMounts:
        - name: jenkins-home
          mountPath: /var/jenkins_home
      volumes:
      - name: jenkins-home
        persistentVolumeClaim:
          claimName: jenkins-home
EOF
kubectl apply -f jenkins-deploy.yaml

4.4 Service(NodePort)

cat > jenkins-svc.yaml <<'EOF'
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace: jenkins
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  type: NodePort
  ports:
  - name: web
    port: 8080
    targetPort: web
    nodePort: 30880
  - name: agent
    port: 50000
    targetPort: agent
    nodePort: 30500
EOF
kubectl apply -f jenkins-svc.yaml
kubectl -n jenkins get po,svc,pvc

4.5 初始化、离线插件与解锁

# 获取初始管理员密码
kubectl -n jenkins exec -it deploy/jenkins -- cat /var/jenkins_home/secrets/initialAdminPassword
​
# 拷贝离线插件目录并重启(插件从原 Jenkins-Slave 软件包获得)
kubectl -n jenkins cp plugins/ deploy/jenkins:/var/jenkins_home
kubectl -n jenkins rollout restart deployment jenkins
kubectl -n jenkins rollout status deployment jenkins

浏览器访问 http://172.22.30.121:30880,选择跳过在线插件安装(已离线安装),随后设置管理员账号与强口令,并确认 Jenkins URL 为 http://172.22.30.121:30880。

4.6 登录并设置全局环境变量 REGISTRY

使用设置的管理员账号登录 Jenkins,依次点击“系统管理 → 系统配置”,在“全局属性”中添加环境变量 REGISTRY,值为 http://172.22.30.121,供流水线统一引用镜像仓库地址。


五、配置 Jenkins Slave(Kubernetes 云)

5.1 新建 Kubernetes Cloud

依次点击“系统管理 → 节点和云管理”,在 Clouds 区域点击“New cloud”,输入名称并选择类型 Kubernetes。

5.2 配置集群连接并测试

Kubernetes 地址使用集群内部 Service DNS:https://kubernetes.default.svc.cluster.local;命名空间填 jenkins;凭据使用 jenkins ServiceAccount 的 Token。点击“连接测试”,返回 Connected to Kubernetes 即表示可通信。

5.3 Jenkins 地址与通道

Jenkins 地址填 http://jenkins.jenkins.svc.cluster.local:8080,通道填 jenkins.jenkins.svc.cluster.local:50000。

5.4 Pod 模板与标签

点击“Pod Templates”,Pod 命名空间填 jenkins,标签填写 jnlp(流水线执行 Job 时依赖该标签)。

5.5 容器模板 jnlp

容器名称必须为 jnlp(默认拉起的容器),镜像使用固化后的 inbound-agent 镜像(原 jenkins/jnlp-slave:jdk11),并删除自动带入的运行命令与参数,否则 Agent 无法启动。

5.6 Maven 缓存与 kubeconfig 注入

原文档把宿主机 /home/jenkins/maven、/home/jenkins/repository、/root/.kube 挂载进 Slave,存在宿主机路径泄漏与状态漂移风险。生产环境改用 PVC 缓存 + Secret 注入 kubeconfig。

# 1) Maven 缓存 PVC
cat > maven-repo-pvc.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: maven-repo
  namespace: jenkins
spec:
  accessModes: ["ReadWriteMany"]
  storageClassName: nfs-storage
  resources:
    requests:
      storage: 10Gi
EOF
kubectl apply -f maven-repo-pvc.yaml
​
# 2) 用 jenkins SA Token 生成 kubeconfig 并写入 Secret
TOKEN=$(kubectl -n jenkins create token jenkins --duration=8760h)
kubectl -n jenkins create secret generic jenkins-kubeconfig --from-literal=token="$TOKEN"
​
# 3) kubeconfig 内容(写入本地文件后一并放入 Secret)
cat > kubeconfig.yaml <<EOF
apiVersion: v1
kind: Config
clusters:
- cluster:
    server: https://kubernetes.default.svc.cluster.local
    insecure-skip-tls-verify: true
  name: default
contexts:
- context:
    cluster: default
    user: jenkins
  name: default
current-context: default
users:
- name: jenkins
  user:
    token: $TOKEN
EOF
kubectl -n jenkins create secret generic jenkins-kubeconfig --from-file=config=kubeconfig.yaml --dry-run=client -o yaml | kubectl apply -f -

在 Pod 模板的 jnlp 容器中挂载:maven-repo PVC → /home/jenkins/.m2/repository;jenkins-kubeconfig Secret(key config)→ /home/jenkins/.kube/config,并在容器环境变量中设置 KUBECONFIG=/home/jenkins/.kube/config。

5.7 ServiceAccount 与节点调度

Pod 模板中设置 serviceAccountName 为 jenkins,并按需通过 nodeSelector 将 Agent 调度到有足够资源的工作节点。

5.8 用测试任务验证动态 Slave

新建自由风格任务 test,标签表达式填 jnlp,Build Steps 选择“执行 shell”,输入测试命令后立即构建。

echo "test dynamic jenkins slave"
echo "==============docker client==========="
docker version
echo "=============kubectl============="
kubectl get pods -n jenkins

构建后执行 kubectl -n jenkins get pods,应看到新生成的 jnlp-xxxx Pod,任务结束后自动销毁;控制台输出正常即表示 Kubernetes 云与动态 Slave 配置成功。


六、容器构建方案:Docker in Docker(DinD)

本环境集群运行时为 containerd,节点没有 Docker Daemon。采用简单直接的 DinD 方案:以 Pod 形式在集群中运行一个 docker:dind 服务,Jenkins Slave 通过环境变量 DOCKER_HOST 连接该 Daemon 完成镜像构建与推送。

6.1 部署 DinD 服务

cat > docker-dind.yaml <<'EOF'
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: docker-dind-data
  namespace: jenkins
spec:
  storageClassName: nfs-storage
  accessModes:
    - ReadWriteOnce
  resources:
    requests:
      storage: 20Gi
---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: docker-dind
  namespace: jenkins
spec:
  selector:
    matchLabels:
      app: docker-dind
  template:
    metadata:
      labels:
        app: docker-dind
    spec:
      containers:
      - name: docker-dind
        image: 172.22.30.121/library/docker:dind
        imagePullPolicy: IfNotPresent
        env:
        - name: DOCKER_TLS_CERTDIR
          value: ""
        - name: DOCKER_HOST
          value: tcp://0.0.0.0:2375
        ports:
        - name: daemon-port
          containerPort: 2375
        securityContext:
          privileged: true
        volumeMounts:
        - name: docker-dind-data-vol
          mountPath: /var/lib/docker/
      volumes:
      - name: docker-dind-data-vol
        persistentVolumeClaim:
          claimName: docker-dind-data
---
kind: Service
apiVersion: v1
metadata:
  name: docker-dind
  namespace: jenkins
spec:
  selector:
    app: docker-dind
  ports:
  - port: 2375
    targetPort: 2375
EOF
kubectl apply -f docker-dind.yaml
kubectl -n jenkins rollout status deployment docker-dind

6.2 Slave 连接 DinD

在 Jenkins Kubernetes 云 jnlp 容器的环境变量中设置 DOCKER_HOST=tcp://docker-dind:2375,流水线中的 docker build / docker login / docker push 命令即通过该 Daemon 执行。


七、部署 GitLab

7.1 GitLab 资源清单

root 密码通过 Secret 注入,使用持久化存储,项目默认 internal/private,不做公开项目。

cat > gitlab-secret.yaml <<'EOF'
apiVersion: v1
kind: Secret
metadata:
  name: gitlab-secret
  namespace: jenkins
type: Opaque
stringData:
  GITLAB_ROOT_PASSWORD: "GitLab@Prod2026"
EOF
kubectl apply -f gitlab-secret.yaml
​
cat > gitlab-deploy.yaml <<'EOF'
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: gitlab-data
  namespace: jenkins
spec:
  accessModes: ["ReadWriteOnce"]
  storageClassName: nfs-storage
  resources:
    requests:
      storage: 50Gi
---
apiVersion: v1
kind: Service
metadata:
  name: gitlab
  namespace: jenkins
spec:
  selector:
    app: gitlab
  type: NodePort
  ports:
  - name: web
    port: 80
    targetPort: 80
    nodePort: 30888
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: gitlab
  namespace: jenkins
spec:
  replicas: 1
  selector:
    matchLabels:
      app: gitlab
  template:
    metadata:
      labels:
        app: gitlab
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 998
        fsGroup: 998
        seccompProfile:
          type: RuntimeDefault
      containers:
      - name: gitlab
        image: 172.22.30.121/library/gitlab-ce:latest
        imagePullPolicy: IfNotPresent
        env:
        - name: GITLAB_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: gitlab-secret
              key: GITLAB_ROOT_PASSWORD
        - name: GITLAB_ROOT_EMAIL
          value: admin@example.com
        - name: GITLAB_PORT
          value: "80"
        ports:
        - name: web
          containerPort: 80
        resources:
          requests:
            cpu: "1"
            memory: 4Gi
          limits:
            cpu: "4"
            memory: 8Gi
        volumeMounts:
        - name: data
          mountPath: /var/opt/gitlab
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: gitlab-data
EOF
kubectl apply -f gitlab-deploy.yaml
kubectl -n jenkins rollout status deployment gitlab --timeout=600s

7.2 浏览器创建项目

访问 http://172.22.30.121:30888,使用 root 与 Secret 中的密码登录,新建 internal 项目 cloud-manager。

7.3 推送代码

cd /opt/cloud-manager
git config --global user.name "devops"
git config --global user.email "devops@example.com"
git remote add origin http://172.22.30.121:30888/root/cloud-manager.git
git add .
git commit -m "Initial commit"
git push -u origin master

刷新页面确认代码已推送。

7.4 网络白名单与 Access Token

登录 GitLab 管理界面(http://172.22.30.121:30888/admin),在 Settings → Network 的 Outbound requests 中,不勾选全局“允许本地网络”,改为为 Jenkins webhook 配置精确的目标地址白名单。

为 Jenkins 创建 Access Token(scope 勾选 api),记录 Token 备用。

7.5 Jenkins 连接 GitLab

在 Jenkins“系统管理 → 系统配置”中配置 GitLab:填写 Connection name 与 GitLab host URL,取消勾选“Enable authentication for '/project' end-point”,添加 GitLab API Token 凭据,连接测试返回 Success。


八、部署 RabbitMQ 与 Nacos(生产化)

中间件固定版本、Secret 注入口令、持久化与最小权限。原文档 guest/guest、nacos/nacos 默认口令不得用于生产。

8.1 RabbitMQ

cat > rabbitmq.yaml <<'EOF'
apiVersion: v1
kind: Secret
metadata:
  name: rabbitmq-secret
  namespace: jenkins
type: Opaque
stringData:
  RABBITMQ_DEFAULT_USER: "appuser"
  RABBITMQ_DEFAULT_PASS: "Rabbit@Prod2026"
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: rabbitmq-data
  namespace: jenkins
spec:
  accessModes: ["ReadWriteOnce"]
  storageClassName: nfs-storage
  resources:
    requests:
      storage: 10Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: rabbitmq
  namespace: jenkins
spec:
  replicas: 1
  selector:
    matchLabels:
      app: rabbitmq
  template:
    metadata:
      labels:
        app: rabbitmq
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 999
        fsGroup: 999
      containers:
      - name: rabbitmq
        image: 172.22.30.121/library/rabbitmq:3.13-management
        envFrom:
        - secretRef:
            name: rabbitmq-secret
        ports:
        - name: amqp
          containerPort: 5672
        - name: mgmt
          containerPort: 15672
        volumeMounts:
        - name: data
          mountPath: /var/lib/rabbitmq
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: rabbitmq-data
---
apiVersion: v1
kind: Service
metadata:
  name: rabbitmq
  namespace: jenkins
spec:
  selector:
    app: rabbitmq
  type: NodePort
  ports:
  - name: amqp
    port: 5672
    targetPort: amqp
  - name: mgmt
    port: 15672
    targetPort: mgmt
    nodePort: 30672
EOF
kubectl apply -f rabbitmq.yaml

8.2 MySQL 与 Nacos

cat > mysql.yaml <<'EOF'
apiVersion: v1
kind: Secret
metadata:
  name: nacos-mysql-secret
  namespace: jenkins
type: Opaque
stringData:
  MYSQL_ROOT_PASSWORD: "Mysql@Prod2026"
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: mysql-data
  namespace: jenkins
spec:
  accessModes: ["ReadWriteOnce"]
  storageClassName: nfs-storage
  resources:
    requests:
      storage: 20Gi
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: mysql
  namespace: jenkins
spec:
  selector:
    matchLabels:
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      securityContext:
        runAsNonRoot: true
        runAsUser: 999
        fsGroup: 999
      containers:
      - name: mysql
        image: 172.22.30.121/library/mysql:8.0
        env:
        - name: MYSQL_ROOT_PASSWORD
          valueFrom:
            secretKeyRef:
              name: nacos-mysql-secret
              key: MYSQL_ROOT_PASSWORD
        ports:
        - containerPort: 3306
        volumeMounts:
        - name: data
          mountPath: /var/lib/mysql
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: mysql-data
---
apiVersion: v1
kind: Service
metadata:
  name: mysql
  namespace: jenkins
spec:
  selector:
    app: mysql
  ports:
  - port: 3306
    targetPort: 3306
EOF
kubectl apply -f mysql.yaml

Nacos 固定版本 nacos/nacos-server:v2.3.2,以独立 MySQL 存储配置,通过 SPRING_DATASOURCE_PLATFORM=mysql 连接 MySQL,并修改默认 nacos/nacos 管理员口令,NodePort 暴露 30848。

8.3 数据库导入

kubectl -n jenkins cp cloud-manage/cloud_manage_public.sql $(kubectl -n jenkins get pod -l app=mysql -o jsonpath='{.items[0].metadata.name}'):/root
kubectl -n jenkins exec -it deploy/mysql -- bash
mysql -uroot -p'Mysql@Prod2026' -e "create database cloud_manage_public;"
mysql -uroot -p'Mysql@Prod2026' cloud_manage_public < /root/cloud_manage_public.sql
exit

8.4 Nacos 配置导入与地址修正

浏览器访问 http://172.22.30.121:30848/nacos,导入 nacos_config.zip,并把配置中的数据库、Redis、Harbor、Kubernetes 地址全部改为生产实际地址;敏感项迁移到 Secret 或配置中心。

警告:原文档通过修改 CoreDNS hosts 把 nacos 解析到固定 IP。生产环境应使用 Service DNS nacos.jenkins.svc.cluster.local,不修改 CoreDNS 全局 hosts 插件。


九、流水线生产化

原 Pipeline 存在硬编码 Harbor 账号密码、挂载宿主机 Maven 仓库、跳过测试直接发布等问题。生产化后拆分为 Checkout、Build & Test、Image Build、Deploy、Verify 阶段,并配置失败自动回滚。

9.1 凭据准备

在 Jenkins“系统管理 → 凭据”中创建:harbor-robot(用户名密码类型,Harbor 账号)与 gitlab-token(GitLab Access Token),流水线通过 withCredentials 引用,禁止明文写入脚本。

9.2 完整 Jenkinsfile

pipeline {
  agent none
  environment {
    REGISTRY = '172.22.30.121'
    NAMESPACE = 'default'
    IMAGE = "${REGISTRY}/library/cloud-manager-public"
  }
  options {
    timeout(time: 60, unit: 'MINUTES')
    disableConcurrentBuilds()
    buildDiscarder(logRotator(numToKeepStr: '20'))
  }
  stages {
    stage('Checkout') {
      agent { label 'jnlp' }
      steps { checkout scm }
    }
    stage('Build & Test') {
      agent { label 'jnlp' }
      steps {
        sh 'cd cloud-manage-common && mvn -B install'
        sh 'mvn -B clean package'
      }
      post {
        success {
          archiveArtifacts artifacts: '**/target/*.jar', fingerprint: true
        }
      }
    }
    stage('Image Build & Push') {
      agent { label 'jnlp' }
      steps {
        withCredentials([usernamePassword(
          credentialsId: 'harbor-robot',
          usernameVariable: 'HARBOR_USER',
          passwordVariable: 'HARBOR_TOKEN')]) {
          sh '''
            mkdir -p cloud-manager-public/target
            cp -f cloud-manager-public/target/*.jar cloud-manager-public/target/app.jar 2>/dev/null || true
            sed -i "s|openjdk:8-jdk-alpine|172.22.30.121/library/openjdk:8-jdk-alpine|g" cloud-manager-public/Dockerfile
            docker login 172.22.30.121 -u "$HARBOR_USER" -p "$HARBOR_TOKEN"
            docker build -t ${IMAGE}:${BUILD_NUMBER} -f cloud-manager-public/Dockerfile cloud-manager-public
            docker push ${IMAGE}:${BUILD_NUMBER}
          '''
        }
      }
    }
    stage('Deploy') {
      agent { label 'jnlp' }
      steps {
        sh '''
          sed -i "s|cloud-manager-public:latest|${IMAGE}:${BUILD_NUMBER}|g" manifests/cloud-deploy.yaml
          sed -i "s|cloud-ui:latest|172.22.30.121/library/cloud-ui:latest|g" manifests/cloud-deploy.yaml
          sed -i "s|http://IP:9998|http://172.22.30.121:30998|g" manifests/cloud-deploy.yaml
          kubectl apply --dry-run=client -f manifests/
          kubectl apply -f manifests/
        '''
      }
    }
    stage('Verify') {
      agent { label 'jnlp' }
      steps {
        sh 'kubectl rollout status deployment cloud-manager-public -n default --timeout=180s'
      }
    }
  }
  post {
    failure {
      sh 'kubectl rollout undo deployment cloud-manager-public -n default || true'
    }
    always {
      echo "Build ${BUILD_NUMBER} finished. Image: ${IMAGE}:${BUILD_NUMBER}"
    }
  }
}

9.3 在 VS Code 中编写与维护流水线

推荐使用 VS Code打开共享库工程编写流水线,配合 Groovy、Docker、Kubernetes 插件并可通过 jenkins-pipeline-unit 在本地做单元测试。

9.4 新建流水线任务

在 Jenkins 新建流水线任务 cloud-manager-public,定义选择“Pipeline script from SCM”,SCM 选 Git,Repository URL 填 http://172.22.30.121:30888/root/cloud-manager.git,凭据选择 gitlab-token,分支 master。

9.5 授权策略

登录 Jenkins“系统管理 → 全局安全配置”,授权策略选择“Role-based Strategy”(或“项目矩阵授权策略”)。

9.6 触发构建

在 GitLab 项目创建 Jenkinsfile(内容为 9.2 脚本),保存后回到 Jenkins 点击“立即构建”触发流水线;生产环境建议配置 GitLab Webhook 自动触发。


十、浏览器平台结果验证

流水线执行完成后,按以下顺序在浏览器逐一验证各平台结果,任何一项异常都不得上线。

10.1 Jenkins 控制台输出

打开任务 cloud-manager-public 的构建控制台,确认各阶段 SUCCESS,无 ERROR 与异常堆栈。

打开 Blue Ocean,确认流水线各阶段节点全部为绿色通过。

10.2 GitLab 仓库状态

访问 GitLab 项目,确认 Jenkinsfile 与最新代码已提交,分支状态正常。

10.3Harbor 镜像仓库

访问 http://172.22.30.121,在 library 项目确认 cloud-manager-public 镜像已按 BUILD_NUMBER 标签存在,并可查看 digest 与漏洞扫描结果。

10.4 Nacos 控制台

访问 http://172.22.30.121:30848/nacos,确认配置已导入且服务可注册。

10.5 RabbitMQ 管理台

访问 http://172.22.30.121:30672,使用 Secret 中的账号登录,确认连接与队列正常。

10.6 云管平台最终验证

访问 http://172.22.30.121:30998 登录云管平台,确认新版本业务服务可用,完成浏览器端闭环验证。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!