9
0

云原生多地多中心建设

2026-10-27
2026-10-27
云原生多地多中心建设

多地多中心基础环境建设

技术选择与版本

组件版本
操作系统Rocky Linux 10.2 Minimal
Kubernetes1.31.9(Sealos)
Helmv4.0.1(Sealos 镜像)
Calicov3.28.1
nerdctl2.3.3
NFS Provisionerchart 4.0.18 / image v4.0.2
ingress-nginxv1.15.1
MySQL8.4.10
PowerDNS5.1.x

目录


01 · Rocky Linux 系统安装与初始化

本项目统一采用 Rocky Linux 作为基础操作系统,替代 CentOS,并保持与 CentOS 相近的操作方式。

所有节点统一使用 Rocky Linux 10.2 Minimal 镜像,后续版本按版本基线统一升级。

系统环境 Rocky Linux

介绍

Rocky Linux 是 RHEL(红帽企业 Linux)1:1 二进制兼容的开源免费发行版,由 CentOS 项目创始人** Gregory Kurtzer** 在 2020 年创立;

起因:红帽宣布停止 CentOS 稳定版(CentOS8/9 转为滚动流 CentOS Stream),社区为替代传统稳定 CentOS 诞生 Rocky Linux,完全免费、无订阅费、兼容 RHEL 官方软件。

系统安装

Rocky Linux 10.2 ISO 镜像文件下载:https://rockylinux.org/zh-CN/download,采用 Minimal ISO 版本,见图:

Rocky Linux 三种 ISO 镜像区别(DVD / Minimal / Boot)

1)Minimal ISO(最小化镜像|生产服务器首选)

体积小,仅几百 MB;系统基础最小安装包内置在镜像里。

安装特点:断网也能完成最小化系统安装,只有内核 + 基础命令 + 系统组件,无桌面、无多余软件

2)DVD ISO(完整版 DVD 镜像)

体积最大(8G 左右),内置 BaseOS+AppStream 全套 rpm 软件源

安装特点:完全离线安装,安装时可以自选桌面环境 (GNOME)、开发包、数据库、工具集,不需要联网下载包。装好系统后,本机光盘可当本地 yum 源。

3)Boot ISO(网络引导镜像|网装专用)

体积最小(几十-几百 MB),只有引导程序,镜像里没有任何系统安装包。

安装特点:开机引导后,必须配置网络 + 填写在线源地址(官方 / 国内阿里 / 清华源),全程从网络下载系统包

服务器配置

CPU:安装 K8s 最少 2 vCPUs

内存:推荐 4G - 8G

硬盘:推荐 50G - 100G

安装过程

1)选择第一项安装

四个选项说明,按需选择:

  1. Install Rocky Linux 10.2(首选正常安装) 常规安装选择此项,回车启动安装向导。
  2. Test this media & install Rocky Linux 10.2 先校验安装镜像完整性(检测 U 盘 / ISO 文件是否损坏),校验通过后再安装;U 盘刻录不稳、怀疑镜像损坏时用。
  3. Install Rocky Linux 10.2 in FIPS mode 联邦安全加密规范模式,政企合规场景专用,普通 / 服务器装机不用。
  4. Troubleshooting 故障排查菜单(救援模式、内存测试等),系统出问题修复才进,新装系统不用。

2)本方案选择英文

语言选项说明:

  1. 安装介质自动识别本地硬件时区 / 键盘区域 当前虚拟机 / 宿主机系统是中文环境、BIOS 时区中国,Rocky 安装程序自动探测系统区域,默认优选中文,所以简体中文置顶。
  2. Rocky Linux 10.2 本地化优化 新版本 RHEL 系安装器 anaconda 会根据硬件所在地区、主板时区自动匹配首选语言,国内环境默认中文优先。

3)自定义分区

/根分区,空间给大一些

4)开启 root 用户登录

5)开始安装

6)安装完成重启

配置网卡静态 IP

安装阶段默认通过 DHCP 获取地址,用于确认网段内未占用的 IP;安装完成后改为静态 IP。

若没有这种担心,完全可以在安装页面配置静态 IP。

1) 方式一(生产推荐,一条命令)

通过nmcli命令行,配置网卡静态 IP

# 替换【网卡名、IP、网关、DNS】
nmcli connection modify "ens34" \
  ipv4.method manual \
  ipv4.addresses 192.168.101.126/24 \
  ipv4.gateway 192.168.101.1 \
  ipv4.dns "223.5.5.5,8.8.8.8"
# 重载网卡生效
nmcli con down ens34 && nmcli con up ens34

2)方式二

修改网卡配置文件

$ vi /etc/NetworkManager/system-connections/ens34.nmconnection
...
...
[ipv4]s
address1=192.168.101.107/24
dns=223.5.5.5;8.8.8.8;
gateway=192.168.101.1
method=manual
...
...

修改前

修改后

重启网卡生效

# 1. 让 NM 重新读取所有配置文件(必须执行,否则不生效)
nmcli connection reload

# 2. 关掉 ens34 连接,再重新激活
nmcli connection down ens34
nmcli connection up ens34

# 3. 查看结果
ip a
nmcli connection show ens34

配置 yum 源

Rocky Linux 使用 dnf 作为包管理器;为兼容 CentOS 习惯,系统保留了 yum 别名。统一使用 dnf。

源配置目录为 /etc/yum.repos.d/。

配置 yum 源,此处提供两种源:中科大、阿里云

配置 Rocky 基础源

1)中科大

中科大 Rocky Linux 系统 Yum 源地址:https://mirrors.ustc.edu.cn/rocky/

# 中科大
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.ustc.edu.cn/rocky|g' \
    -i.bak \
    /etc/yum.repos.d/rocky-extras.repo \
    /etc/yum.repos.d/rocky.repo

2)阿里云

说明:阿里云 Rocky Linux 镜像站可能不可用。

阿里云 Rocky Linux 系统 Yum 源地址:https://developer.aliyun.com/mirror/rockylinux

阿里的镜像站的配置方法命令中的Rocky-.repo**需要替换为rocky.repo

# 阿里 
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
    -e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
    -i.bak \
    /etc/yum.repos.d/rocky*.repo

生成缓存

# 清理缓存
dnf clean all

# 生成缓存
dnf makecache

# 安装服务测试
dnf install -y net-tools vim wget tar

# 安装iptables,k8s安装时依赖
dnf install -y iptables iptables-nft iproute-tc conntrack-tools socat net-tools
安装 Docker

Jenkins 构建 K8s 集群必须安装 Docker,其他集群不需要安装。

cat > /etc/yum.repos.d/docker-ce.repo << EOF
[docker-ce-stable]
name=Docker CE Stable - x86_64
baseurl=https://mirrors.ustc.edu.cn/docker-ce/linux/centos/10/x86_64/stable/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.ustc.edu.cn/docker-ce/linux/centos/gpg
EOF

dnf install -y docker-ce
systemctl start docker && systemctl enable docker

# K8s 集群里面安装 Docker 时才重启 containerd、kubelet
# 安装 Docker 后重启 containerd、kubelet
systemctl restart containerd
systemctl restart kubelet
安装 docker 后 containerd 报错,unsupported shim version (3)

由于在 containerd 运行时的 K8s 集群中安装了 docker-ce 导致 containerd 的版本升级了,才出现这个错误

Failed to create pod sandbox: rpc error: code = Unimplemented desc = failed to create containerd task: failed to start shim: start failed: unsupported shim version (3): not implemented

重启,containerd 与 kubelet 解决

systemctl restart containerd
systemctl restart kubelet

02 · 基础架构图与规范

多地多中心基础架构图

画板

该图描述 3 个数据中心内基础集群与服务的规划关系,不包含具体业务调用链路;后续建设在此基础上展开。

基础架构按 3 个数据中心规划,后续可水平扩展。架构说明如下:

1)基础设施

图中有 南京(nj)、成都(cd)、北京(bj) 3 个机房。机房存放了大量服务器,所有的集群和服务都在服务器中完成。

每个机房中都存在 3 种基础资源,物理机、虚拟机、K8s 集群,K8s 集群可部署在物理机或虚拟机上;生产环境宜采用物理机部署,以获得更好的性能。

2)K8s 集群与服务

K8s 集群按环境划分为平台(plat)、开发(dev)、测试(test)和生产(prod),各环境独立部署对应服务。

  • plat 环境:用于部署所有本项目运维平台管理相关组件服务,比如:Kuboard、JumpServer、Jenkins、ArgoCD 等等。除非必须部署到其他环境集群当中,那么都部署到该集群,比如:ELK、Skywalking、Harbor、Nacos。
  • dev、test、prod 环境:分别用于部署 dev、test、prod 的系统服务。

3)虚拟机资源

这部分用于为运行在 K8s 集群中的服务或集群本身,而提供的部署,比如:PowerDNS、MySQL、Redis。

4)网络环境

按照物理条件来说,所有的机房都是可以和互联网打通并通信的。但是本项目实际上需要进行网络限制,首先所有的物理机或虚拟机本身都默认不运行和互联网通信,全部使用内网。需要和互联网通信需求时,再申请开通网络权限。

机房之间的网络通讯使用的是运营商专线网络,带宽。专线绝大多数是上下行对等;家用宽带是非对称(下行大、上行很小)。

一般绝大多数中小互联网公司,专线带宽首选 100M 对称专线,随着业务量增大带宽也可以随之调整为 200M、500M。

大型 IDC、数据中心互联 DCI, 10G、40G、100G,一般大厂、政企核心机房使用。

数据中心互联 DCI,可以实现:跨地域用户接入、异地备份和容灾。

本项目 K8s 集群中,dev 环境所有节点都不允许上互联网。test、prod 也只有 网关节点 才允许开通上互联网,本项目的服务系统也就可以通过网关节点来和互联网通信。

此处的网关节点,就是本项目的 Ingress 节点

K8s 集群,只有 test、prod 环境之间是可以互相访问的,dev 环境是单独隔离的环境,完全内网环境。同样的如果 dev 环境需要某些节点可以互通,网络层可以打通,申请权限即可。

内部用户,可以有两台 Windows 主机,一台可以访问互联网,一台是全内网便于访问内部系统环境。

命名规范

命名规范,包含:数据中心命名、环境命名、K8s 集群命名、业务/中间件命名 规范

数据中心命名规范

1)地域 Region

地理:跨城市、跨百公里以上,一般以市为单位,划分一个地域。比如华东上海、西南成都、华北北京

基础设施:完全独立电网、独立骨干光缆、独立供水消防、独立运营商线路

延迟:跨 Region 访问延迟几十 ms~ 上百 ms

地域(Region)** 简称**
南京nj
成都cd
北京bj

规范语法:<地域简称>-DC<序号>,例如:CD-DC01。

2)可用区 AZ(同地域内)

地理:一般在同一座城市,一般是市以下的区县,相距几公里~几十公里;

基础设施:每栋机房市电、UPS、柴油发电机、空调、核心交换机、外部光纤全部物理隔离; 一栋 AZ 断电 / 失火 / 光缆被挖断,其他 AZ 不受影响;

网络:同城低延迟,AZ 之间光纤直连,延迟 1~3ms

地域(Region)** 可用区(AZ)**** AZ 简称**** 具体区县**** 区县简称**
南京可用区 Aaz01江宁区jn
成都可用区 Aaz01高新区gx
成都可用区 Baz02双流区sl
北京可用区 Aaz01海淀区hd

规范语法:<区县简称>-<AZ简称>,例如:gx-az01。

环境命名介绍

具体环境** 简称**
开发环境dev
测试/联调环境test
技术验证环境poc
压测环境pet
体验环境uat
预生产环境pre
生产环境prod

K8s 集群命名规范

1)K8s 集群类别

平台服务(Platform 简称,plat)

业务服务(Business 简称,biz)

2)K8s 集群是否公开

私有:priv (Private 的缩写)

公开:pub (Public 的缩写)

3)K8s 集群命名规范

规范语法:南京-秦淮区-可用区-K8s集群类别-是否公开-环境-01集群,如:nj-jn-az01-biz-priv-dev-01

规范语法:南京-秦淮区-可用区-K8s集群类别-是否公开-环境-01集群,如:nj-jn-az01-plat-priv-prod-01

规范语法:成都-高新区-可用区-K8s集群类别-是否公开-环境-01集群,如:cd-gx-az01-biz-priv-test-01

规范语法:北京-海淀区-可用区-K8s集群类别-是否公开-环境-01集群,如:bj-hd-az01-biz-priv-prod-01

K8s 资源命名长度限制:

项目/业务/中间件域名命名规范

生产域名不包含环境名

用户端

1)Web 站点地址(暴露公网)

规范语法:https://<项目名>-<环境>.corpcloud.cn

例如:

https://demo-dev.corpcloud.cn(开发环境)

https://demo-h5-dev.corpcloud.cn(开发环境)

https://demo-test.corpcloud.cn(测试环境)

https://demo.corpcloud.cn(生产环境)生产域名的环境名不用写

2)API 接口地址(暴露公网)

规范语法:https://<项目名>-gw-<环境>.corpcloud.cn

例如:

https://demo-gw-dev.corpcloud.cn

规范语法:https://<项目名>-<环境>.corpcloud.cn/api

例如:

https://demo-dev.corpcloud.cn/api

3)其他依赖接口,如鉴权接口地址(暴露公网)

规范语法:https://<鉴权项目名>-gw-<环境>.corpcloud.cn/<需要鉴权的项目名>

例:

http://iam-gw-dev.corpcloud.cn/mall

http://ram-gw-mg-dev.corpcloud.cn/mall

管理端

1)Web 站点地址(内部访问)

规范语法:http://<项目名>-mg-<环境>.corpcloud.cn

例:

http://demo-mg-dev.corpcloud.cn

2)API 接口地址(内部访问)

规范语法:http://<项目名>-gw-mg-<环境>.corpcloud.cn/<模块名>

例:

http://demo-gw-mg-dev.corpcloud.cn/mall

3)其他依赖接口,如鉴权接口地址(内部访问)

规范语法:http://<鉴权项目名>-gw-mg-<环境>.corpcloud.cn/<需要鉴权的项目名>

例:

http://iam-gw-mg-dev.corpcloud.cn/mall

http://ram-gw-mg-dev.corpcloud.cn/mall

中间件

1)不夸地域中间件

中间件:MySQL、Redis、MongoDB、RabbitMQ

规范语法:http://<中间件名>-<public/某项目/某类项目>-<环境名>.corpcloud.cn(内部访问)

public/某项目/某类项目 区别:

  1. public:所有项目都可以使用
  2. 某项目:某个项目使用
  3. 某类项目:某一类别项目可以使用

public 公共中间件,如:

  1. MySQL:mysql-public-dev.corpcloud.cn、mysq-publicl-test.corpcloud.cn、mysql-public.corpcloud.cn
  2. Redis:redis-public-dev.corpcloud.cn、redis-public-test.corpcloud.cn、redis-public.corpcloud.cn

某项目或某类项目 独享中间件,如:

  1. 某项目(demo):mysql-demo-dev.corpcloud.cn、mysq-demo-test.corpcloud.cn、mysql-demo.corpcloud.cn
  2. 某类项目(aliyun):redis-aliyun-dev.corpcloud.cn、redis-aliyun-test.corpcloud.cn、redis-aliyun.corpcloud.cn

2)地域划分中间件-基础组件

cd-harbor.corpcloud.cn

nj-harbor.corpcloud.cn

bj-harbor.corpcloud.cn


03 · K8s 集群建设及服务相关概要

K8s 集群建设

安装 K8s 集群

由于本项目云原生项目都是在 K8s 集群环境基础之上来完成的,所以本项目需要安装所有环境的 K8s 集群。

本阶段的 K8s 集群部署不适用于生产环境,生产环境 K8s 集群在后续阶段实施。

本方案将会使用 Sealos 工具一键安装 K8s 集群。Sealos 工具的具体细节,请查看下方文档:
https://space.bilibili.com/1803388873?spm_id_from=333.337.0.0

1)修改主机名、配置 hosts(所有节点执行)

1. 修改主机名
# platform
hostnamectl set-hostname k8s-master01-192-168-101-106
hostnamectl set-hostname k8s-node01-192-168-101-114
hostnamectl set-hostname k8s-node02-192-168-101-115

# dev
hostnamectl set-hostname k8s-master01-192-168-101-107
hostnamectl set-hostname k8s-node01_192-168-101-109

# test
hostnamectl set-hostname k8s-master01-192-168-101-110
hostnamectl set-hostname k8s-node01-192-168-101-111

# prod
hostnamectl set-hostname k8s-master01-192-168-101-112
hostnamectl set-hostname k8s-node01-192-168-101-113

2. 配置hosts(必须配),例下(所有集群都配置,自身的集群hosts即可)
$ vi /etc/hosts
192.168.101.107 k8s-master01-192-168-101-107
192.168.101.109 k8s-node01-192-168-101-109

2)下载最新 Sealos 版本(仅在master节点执行)

官方文档参考:https://sealos.run/docs/k8s/quick-start/install-cli

# 下载wget、tar
dnf install -y net-tools wget tar vim
# 获取Sealos版本号
VERSION=`curl -s https://api.github.com/repos/labring/sealos/releases/latest | grep -oE '"tag_name": "[^"]+"' | head -n1 | cut -d'"' -f4`
# 配置GitHub代理
export PROXY_PREFIX=https://ghfast.top
# 下载Sealos二进制命令行包
wget ${PROXY_PREFIX}/https://github.com/labring/sealos/releases/download/${VERSION}/sealos_${VERSION#v}_linux_amd64.tar.gz \
  && tar zxvf sealos_${VERSION#v}_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin

3)配置时间同步

Rocky Linux 10.2 系统默认安装并配置了时间同步服务 chrony,所以本项目不用再安装和配置 chrony 服务了。见图:

chronyc sources

若的系统没有配置时间同步,可参考下方配置。(所有节点执行)

#方式1:安装配置chrony时间同步
IP=`ip addr | grep 'state UP' -A2 | grep inet | egrep -v '(127.0.0.1|inet6|docker)' | awk '{print $2}' | tr -d "addr:" | head -n 1 | cut -d / -f1`
yum install -y chrony
sed -i '3,6s/^/#/g' /etc/chrony.conf
sed -i "7s|^|server ntp1.aliyun.com iburst|g" /etc/chrony.conf
echo"allow all" >> /etc/chrony.conf
echo"local stratum 10" >> /etc/chrony.conf
systemctl restart chronyd
systemctl enable chronyd
timedatectl set-ntp true
sleep 5
systemctl restart chronyd
chronyc sources

#方式2:时间同步  说明:系统重启后恢复成原时间
yum install ntpdate -y
ntpdate ntp1.aliyun.com

4)安装 iptables(所有节点执行)

Rocky Linux 8/9/10 最小化系统安装时,默认不带 iptables,需要本项目手动安装

dnf install -y iptables iptables-nft iproute-tc conntrack-tools socat net-tools

5)sealos 命令一键安装 K8s 集群(仅在master节点执行)

官方文档参考:https://sealos.run/docs/k8s/quick-start/deploy-kubernetes

sealos run \
    registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.31.9 \
    registry.cn-shanghai.aliyuncs.com/labring/helm:v4.0.1 \
    registry.cn-shanghai.aliyuncs.com/labring/calico:v3.28.1 \
    --masters 192.168.101.106 \
    --nodes 192.168.101.107,192.168.101.108 \
    -p 000000 [your-ssh-passwd]

sealos run \
      registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.31.9 \
      registry.cn-shanghai.aliyuncs.com/labring/helm:v4.0.1 \
      registry.cn-shanghai.aliyuncs.com/labring/calico:v3.28.1 \
      --masters 192.168.101.110 \
      --nodes 192.168.101.124 \
      -p 000000 [your-ssh-passwd]

执行 Sealos 安装 K8s 集群时报错,就再执行一次 Sealos 安装命令

安装 nerdctl

Containerd 注册表主机配置 Registry Host:https://mp.weixin.qq.com/s/1E3DGWZ5ECOdrUZ0s00WzA

K8s 容器运行时,变为 Containerd 后存在哪些疑惑?:访问阅读文章

1)下载 nerdctl

GitHub:https://github.com/containerd/nerdctl

GitHub下载不了的话,提供下载包:nerdctl-2.3.3-linux-amd64.tar.gz

2)安装 nerdctl

mkdir -p /opt/soft
mv nerdctl-2.3.3-linux-amd64.tar.gz /opt/soft
cd /opt/soft
tar -xf nerdctl-2.3.3-linux-amd64.tar.gz nerdctl && mv nerdctl /usr/local/bin/

3)配置 nerdctl

mkdir /etc/nerdctl/
cd /etc/nerdctl/
cat > nerdctl.toml << EOF
debug = false
debug_full = false
address = "unix:///var/run/containerd/containerd.sock"
namespace = "k8s.io"
# snapshotter = "stargz"
cgroup_manager = "systemd"
# host_dir = ["/etc/containerd/certs.d","/etc/nerdctl/certs.d"]
insecure_registry = false
EOF

配置镜像加速(可选)

1)解决国内拉取 Docker 镜像问题,推荐阅读:https://t.zsxq.com/Noc2c

2)配置 Docker 加速器

配置 Docker 镜像加速,速度一般

参考:https://cloud.tencent.com/developer/article/2485043

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json << EOF
{
    "registry-mirrors": [
        "https://docker<保密地址>",
        "https://docker<保密地址>"
    ]
}
EOF

sudo systemctl daemon-reload
sudo systemctl restart docker

阿里云 ECS 配置 Dokcer 加速器,速度非常快(仅限阿里云 ECS 服务器)

sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://ap88rnwz.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker

3)配置 Containerd 镜像加速器

可以直接拉取 docker.io 镜像,下载速度会比较慢,100-500 KiB/s 左右

mkdir -p /etc/containerd/certs.d/docker.io
cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://docker.io"

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]
  
[host."https://docker.1panel.live"]
  capabilities = ["pull", "resolve"]
  
[host."https://registry.cn-hangzhou.aliyuncs.com"]
  capabilities = ["pull", "resolve"]

[host."https://docker.mirrors.ustc.edu.cn"]
  capabilities = ["pull", "resolve"]

[host."http://hub-mirror.c.163.com"]
  capabilities = ["pull", "resolve"]

[host."https://hub.<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker.<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://docker<保密地址>"]
  capabilities = ["pull", "resolve"]

[host."https://dockerpull.cn"]
  capabilities = ["pull", "resolve"]
EOF

# 如果不生效,重启再试
systemctl restart containerd

安装 NFS 制备器

NFS 制备器可以用于创建 StorageClass(存储类),有了它就可以实现动态创建 PV,用户服务创建 PVC 就可以自动与 PV 绑定。创建存储类需要一个存储提供商,本项目此处使用 NFS 来作为存储类的供应商。

简图:

自动创建 PV 的原理是,nfs-subdir-external-provisioner这个 Controller 监听到 PVC 和某个存储类匹配后(通过 storageClassName 字段判断),通过 Kubernetes API 动态创建 PV,并在 NFS 服务器上创建对应子目录,最终完成PVC => PV => NFS的自动关联。

查看 NFS Controller

原理:自动创建 PV 的原理是,nfs-subdir-external-provisioner这个 Controller 监听到 PVC 和某个存储类匹配后(通过 storageClassName 字段判断),通过 Kubernetes API 动态创建 PV,并在 NFS 服务器上创建对应子目录,最终完成 PVC => PV => NFS 的自动关联。
安装 NFS(node节点执行)

本项目通常使用 Node 节点作为 NFS 存储节点,所有节点均需安装 NFS 客户端。

1)安装 NFS

安装启动 NFS

dnf install -y nfs-utils rpcbind
systemctl start nfs-server rpcbind && systemctl enable nfs-server rpcbind && systemctl status nfs-server rpcbind

# 客户端节点不需要rpcbind服务
systemctl disable rpcbind && systemctl stop rpcbind

# 安装nfs客户端(所有节点都要安装)
yum install -y nfs-utils
systemctl enable rpcbind --now

创建共享目录

mkdir -p /nfs/k8s-storage
cat > /etc/exports << EOF
/nfs/k8s-storage *(rw,no_root_squash,insecure,sync)
EOF
exportfs -rv
systemctl restart rpcbind nfs-server

检查

# 查看NFS的运行状态
nfsstat
# 显示主机与其共享目录
showmount -e

showmount 命令

  • -a:显示已经于客户端连接上的目录信息
  • -e:IP或者hostname 显示此IP地址分享出来的目录

挂载测试(master节点执行)

挂载后可以创建文件或目录来验证结果

# 启动客户端的 nfs
dnf install -y nfs-utils
systemctl start nfs-server && systemctl enable nfs-server && systemctl status nfs-server

# 挂载测试
mount -t nfs k8s-node01-192-168-101-109:/nfs/k8s-storage /mnt

# 测试完成后取消挂载
umount /mnt

mount -t nfs k8s-master01-192-168-101-106:/nfs/k8s-storage /mnt

安装 NFS 存储制备器

存储类参考:存储类

存储制备器,参考文档:https://kubernetes.io/zh-cn/docs/concepts/storage/storage-classes

1)下载地址:https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

2)安装 nfs-subdir-external-provisioner

镜像下载

# 默认使用的镜像
registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2

# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/nfs-subdir-external-provisioner:v4.0.2

ctr -n k8s.io images pull registry.corpcloud.cn/demo/nfs-subdir-external-provisioner:v4.0.2

helm 安装 NFS 存储制备器

参数需按环境修改,例如:

  1. storageClass.name
  2. nfs.server
  3. nfs.path
# 解压缩/创建名称空间
mkdir -p /opt/platform-tools/helm-chart
mv nfs-subdir-external-provisioner-4.0.18.tgz /opt/platform-tools/helm-chart
cd /opt/platform-tools/helm-chart
tar -xf nfs-subdir-external-provisioner-4.0.18.tgz
kubectl create ns provisioner

# 安装命令
nfs_server="k8s-master01-192-168-101-120"
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner \
    --namespace provisioner \
    --set storageClass.name=k8s-nfs-storage \
    --set nfs.server=${nfs_server} \
    --set nfs.path=/nfs/k8s-storage \
    --set storageClass.defaultClass=true \
    --set image.repository=registry.corpcloud.cn/demo/nfs-subdir-external-provisioner \
    --set image.tag=v4.0.2 \
    --set storageClass.archiveOnDelete=true  # 这个看是否开启,删除pvc时,自动删除数据

报错处理:nfs-subdir-external-provisioner 启动失败,需要在对应运行节点安装 nfs 客户端

# 安装nfs客户端(所有节点都要安装)
yum install -y nfs-utils
systemctl enable rpcbind --now

其他:更新/删除(可选)

# 更新命令
helm upgrade nfs-subdir-external-provisioner nfs-subdir-external-provisioner \
    --namespace provisioner \
    --set storageClass.name=k8s-nfs-storage \
    --set nfs.server=k8s-master01-192-168-101-106 \
    --set nfs.path=/nfs/k8s-storage \
    --set storageClass.defaultClass=true \
    --set image.repository=registry.corpcloud.cn/demo/nfs-subdir-external-provisioner \
    --set image.tag=v4.0.2 \
    --set storageClass.archiveOnDelete=true

# 删除
helm delete nfs-subdir-external-provisioner -n provisioner

# --all 删除该类型全部资源
kubectl delete pvc -n provisioner --all

安装 Ingress

Ingress 参考资料:K8s 官方文档访问跳转

Ingress 控制器官方文档:https://kubernetes.github.io/ingress-nginx/deploy/

GitHub Ingress 安装文档:https://github.com/kubernetes/ingress-nginx/tree/main/charts/ingress-nginx

Ingress Nginx 的 GitHub 仓库:https://github.com/kubernetes/ingress-nginx

参考博客 helm 部署 ingress-controller:https://www.cnblogs.com/syushin/p/15271304.html

GitHub 地址有记录 ingress-nginx 对应支持的 K8s 版本要求。目前最新的版本是 ingress-v1.15.1,对应支持的 K8s 集群版本见图,本项目本套项目采用的 K8s 版本是 1.31.9,所以可以使用 ingress-v1.15.1 版本。

添加与下载 helm chart 包
mkdir -p /opt/platform-tools/helm-chart
cd /opt/platform-tools/helm-chart

helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
helm pull ingress-nginx/ingress-nginx
tar -xf ingress-nginx-4.15.1.tgz

# 更新之后可以查看ingress-nginx的多个版本(可选)
helm repo update
helm search repo ingress-nginx/ingress-nginx --versions

helm search repo ingress-nginx
helm pull ingress-nginx/ingress-nginx --version 4.9.1
安装 Ingress
# 默认镜像
registry.k8s.io/ingress-nginx/controller:v1.15.1
registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.6.9

# 现在镜像
registry.corpcloud.cn/demo/controller:v1.15.1
registry.corpcloud.cn/demo/kube-webhook-certgen:v1.6.9
kubectl create ns ingress-nginx

# 安装:下列镜像使用的docker hub仓库镜像
helm install ingress-nginx ingress-nginx \
    --namespace ingress-nginx \
    --set controller.hostNetwork=true \
    --set controller.dnsPolicy=ClusterFirstWithHostNet \
    --set controller.ingressClassResource.default=true \
    --set controller.allowSnippetAnnotations=true \
    --set controller.image.registry=registry.corpcloud.cn \
    --set controller.image.image=demo/controller \
    --set controller.image.tag=v1.15.1 \
    --set controller.image.digest="" \
    --set controller.admissionWebhooks.patch.image.registry=registry.corpcloud.cn \
    --set controller.admissionWebhooks.patch.image.image=demo/kube-webhook-certgen \
    --set controller.admissionWebhooks.patch.image.tag=v1.6.9 \
    --set controller.admissionWebhooks.patch.image.digest=""

其他:更新/删除(可选)

# 有新的参数添加或者修改时,可执行helm upgrade命令更新
helm upgrade ingress-nginx ingress-nginx \
    --namespace ingress-nginx \
    --set controller.hostNetwork=true \
    --set controller.dnsPolicy=ClusterFirstWithHostNet \
    --set controller.ingressClassResource.default=true \
    --set controller.allowSnippetAnnotations=true \
    --set controller.image.registry=image.9n1m.net \
    --set controller.image.image=giantswarm/ingress-nginx-controller \
    --set controller.image.digest=sha256:0939639a1f338a9eaaa490fd38b4a7881e47a7fd1a473baf8749ce15952b55b8 \
    --set controller.admissionWebhooks.patch.image.registry=image.9n1m.net \
    --set controller.admissionWebhooks.patch.image.image=dyrnq/kube-webhook-certgen \
    --set controller.admissionWebhooks.patch.image.digest=sha256:17c938714b4ca5a5a3a875565ecc8e56b94ebc8c132ba24c08dd1ef3c92bc39e

# 卸载
helm delete ingress-nginx -n ingress-nginx
# --all 删除该类型全部资源
kubectl delete pvc -n ingress-nginx --all

# 参考解析
controller.allowSnippetAnnotations=true  #开启ingress的nginx.ingress.kubernetes.io/configuration-snippet注解
Ingress 域名如何解析

K8s 集群中部署 Ingress 之后,服务就可以通过配置 Ingress 来实现域名访问服务了。本项目所有的域名解析都将解析到对应 K8s 集群下的 ingress-nginx-controller 服务所运行的节点 IP。

后续所有配置 Ingress 和域名解析都采用这种方式,后面不再介绍如何解析。

1)查看 ingress-nginx-controller 所运行在哪个节点

2)所有运行在该集群上的 Ingress 所配置的域名都解析到该节点 IP。

jenkins.corpcloud.cn

云原生服务安装方式介绍

云原生服务的安装,主要是以下几种方式,都是在工作中频繁使用的安装方式。各个方式的优缺点如下:

  1. docker:适用于 dev、test 环境,部署简单、启动快。不宜生产环境使用,不具备高可用性(单节点),扩展不方便。
  2. docker compose:适用于 dev、test 环境,可快速启动服务。不宜生产环境使用,不具备高可用性(单节点),扩展不方便。
  3. helm:可以用于 dev、test、prod 环境,可以灵活配置,同时具备高可用性(K8s集群),扩展方便(可灵活修改 yaml)。
  4. operator:可以用于 dev、test、prod 环境,具备高可用性(K8s集群),扩展方便。但灵活性不足,需要修改代码。

生成私有 SSL 证书

SSL 证书是用于配置 HTTPS 协议的条件。实验环境可使用 openssl 生成自签证书,企业中宜使用阿里云上的证书或其他颁发证书平台,确保签发证书可被信任;免费或付费证书均可。

后续内容中所有需要证书的地方,都可以执行下列步骤生成。

参考文档:配置 Harbor 的 HTTPS 访问

1)前提条件

# 需要生成证书的域名(自定义)
domain_name="argocd.corpcloud.cn"
domain_name_02="argocd.corpcloud"

# 安装 openssl
yum install -y openssl

# 创建证书保存路径
mkdir -p /opt/cert/${domain_name}
cd /opt/cert/${domain_name}

2)生成证书颁发机构证书(ca)

# 1. 生成 CA 证书私钥
openssl genrsa -out ca.key 4096

# 2. 生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
 -subj "/C=CN/ST=Beijing/L=Beijing/O=CorpCloud/OU=Personal/CN=MyPersonal Root CA" \
 -key ca.key \
 -out ca.crt

3)生成服务器证书

证书通常包含 .crt 文件和 .key 文件

# 1.生成私钥
openssl genrsa -out ${domain_name}.key 4096

# 2.生成证书签名请求 (CSR)
openssl req -sha512 -new \
    -subj "/C=CN/ST=Beijing/L=Beijing/O=CorpCloud/OU=Personal/CN=${domain_name}" \
    -key ${domain_name}.key \
    -out ${domain_name}.csr

# 3.生成 x509 v3 扩展文件
# alt_names:客户端访问 Harbor 用什么地址,此处就列什么地址
cat > v3.ext << EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage 	= serverAuth
subjectAltName = @alt_names

[alt_names]
DNS.1=${domain_name}
DNS.2=${domain_name_02}
DNS.3=hostname
EOF

# 4.使用 v3.ext 文件为您的 Harbor 主机生成证书。
openssl x509 -req -sha512 -days 3650 \
    -extfile v3.ext \
    -CA ca.crt -CAkey ca.key -CAcreateserial \
    -in ${domain_name}.csr \
    -out ${domain_name}.crt

04 · 中间件建设

企业中会用到诸多中间件服务,比如:数据库(MySQL、PgSQL、Redis 等等)、MQ(RabbitMQ、EMQX、Kafka)、Zookeeper、Nacos 等等。

其中要求,生产环境“数据库中间件”使用二进制部署,数据库中间件是极其重要的组件,大公司还会独立成立一个部门来单独管理数据库组件(数据层 DBA 岗位)。

Ps:其他中间件可以采用 Docker、K8s 部署。

本次云原生项目侧重点不在 DBA 数据层,主要在业务层,所以随后所有“数据库中间件”能采用 Docker 部署的都会采用该方式部署,因为 Docker 部署快、启动方便。

准备工作

在 3 个区域的机房分别准备一台机器,作为 Tools 工具类机器来完成随后的安装。如果服务采用二进制、Yum、Docker 安装,那么都可以部署在这台机器上。

二进制部署

部署 MySQL 主从(一主二从)

本项目 MySQL 会采用二进制部署一主二从数据库。主要原因是因为本项目多机房架构,后面每个机房都要使用 PowerDNS 基础组件,为了让本项目多机房部署的 PowerDNS 服务数据一致,数据库将采用一主二从模式。

本次本项目安装的版本是 8.x 版本中最新的版本,也是 8.x 版本的最后一个版本:8.4.10。

MySQL 版本说明

版本** 状态**** 说明**
MySQL 5.7⚠已停用社区退役日期:2023-10-31,Azure 延长支持到 2029-03
MySQL 8.0⚠即将停用社区退役日期:2026-04-30,Azure 标准支持到 2026-12-31
MySQL 8.4 LTS当前推荐最新次要版本 8.4.10,支持到至少 2032 年
MySQL 9.7 LTS最新 LTS2026-04-21 发布,集 8.4 稳定性与 9.x 创新之大成

MySQL 各版本,认证插件变化。

caching_sha2_password(新版推荐,加密算法安全系数高),一些服务不支持。

mysql_native_password(旧版使用,加密算法安全系数低),兼容旧服务。

修改用户的插件认证类型 SQL

-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

下载 MySQL 二进制包

MySQL 官方文档下载地址:https://dev.mysql.com/downloads/mysql/

访问此处,立即下载本文档使用版本:访问立即下载

MD5: 70f4942b84f69ce97dcf175c8e0b7a68

上传解压(在 3 台 Tools 机器上执行)

$ md5sum mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz
70f4942b84f69ce97dcf175c8e0b7a68  mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz

yum install -y tar
mkdir -p /opt/soft
mkdir -p /opt/modules/mysql
mv mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz /opt/soft
cd /opt/soft
tar -xf mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz
mv mysql-8.4.10-linux-glibc2.28-x86_64 /opt/modules/mysql
cd /opt/modules/mysql

安装 MySQL

前提条件

创建用户与用户组(在 3 台 Tools 机器上执行)

# 创建用户组
groupadd mysql
# 创建用户 并放入mysql组
useradd -g mysql mysql

创建目录,添加环境变量(在 3 台 Tools 机器上执行)

# 创建 MySQL 相关依赖目录,并授权
mkdir -p /opt/modules/mysql/{data,logs,tmp}
chown -R mysql:mysql /opt/modules/mysql

# 添加 MySQL 的 bin 目录环境变量
cat >> /etc/profile << EOF
export PATH=\$PATH:/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64/bin
EOF
source /etc/profile
创建 Master 和 Slave 配置

1)创建 Master 配置(在 MySQL 的 Master Tools 机器上执行)

# 定义Mysql家目录
mysql_home_dir=/opt/modules/mysql

# 创建配置
cat > /opt/modules/mysql/my.cnf << EOF
[client]
port = 3306
socket = /data/mysql/tmp/mysql.sock
default-character-set = utf8mb4

[mysqld]
mysql_native_password = ON
user = mysql
datadir = ${mysql_home_dir}/data
tmpdir = ${mysql_home_dir}/tmp
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
pid-file = ${mysql_home_dir}/tmp/mysqld.pid
log-error = ${mysql_home_dir}/logs/error.log
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

# ---------------------- 主从复制配置 ----------------------
server-id = 1
log-bin = mysql-bin
binlog_expire_logs_seconds = 2592000
binlog_format = ROW
sync_binlog = 1
relay-log = ${mysql_home_dir}/logs/relay-bin
relay-log-index = ${mysql_home_dir}/logs/relay-bin.index
relay_log_purge = 1
# 普通一主一从架构无需开启 log-slave-updates

# ---------------------- 连接数与表缓存 ----------------------
max_connections = 800
table_open_cache = 4096

# ---------------------- 慢查询日志(故障排查) ----------------------
slow_query_log = 1
slow_query_log_file = ${mysql_home_dir}/logs/slow.log
long_query_time = 1
log_queries_not_using_indexes = 1

# ---------------------- InnoDB 核心优化参数 ----------------------
innodb_file_per_table = 1
innodb_buffer_pool_size = 2G
innodb_buffer_pool_instances = 2
innodb_log_file_size = 512M
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 1
innodb_page_cleaners = 2
innodb_thread_concurrency = 16
innodb_sort_buffer_size = 2M
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_stats_persistent_sample_pages = 28
innodb_online_alter_log_max_size = 2G
innodb_open_files = 8192

# ---------------------- 单会话缓冲区 ----------------------
sort_buffer_size = 2M
join_buffer_size = 2M
tmp_table_size = 64M
max_heap_table_size = 64M

# ---------------------- 安全加固项 ----------------------
local_infile = 0
EOF

# 授予mysql权限
chown mysql:mysql /opt/modules/mysql/my.cnf

2)创建 Slave 配置(在 MySQL 的 Slave Tools 机器上执行)

修改项:

  • IP=192.168.101.116:作为 Slave 1 节点,修改字段 server-id = 2、IP字段
  • IP=192.168.101.117:作为 Slave 2 节点,修改字段 server-id = 3、IP字段
mysql_home_dir=/opt/modules/mysql

# 修改为自己的IP
IP=192.168.101.130

cat > /opt/modules/mysql/my.cnf << EOF
[client]
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
default-character-set = utf8mb4

[mysqld]
mysql_native_password = ON
user = mysql
datadir = ${mysql_home_dir}/data
tmpdir = ${mysql_home_dir}/tmp
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
pid-file = ${mysql_home_dir}/tmp/mysqld.pid
log-error = ${mysql_home_dir}/logs/error.log
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci

# ---------------------- 主从复制配置(从库关键修改) ----------------------
# 从1写2,从2写3,所有实例ID全局唯一
server-id = 3
report_host = ${IP}
report_port = 3306
log-bin = mysql-bin
binlog_expire_logs_seconds = 2592000
# binlog_row_format = ROW
sync_binlog = 1
# 从库必须开启中继日志
relay-log = ${mysql_home_dir}/logs/relay-bin
relay-log-index = ${mysql_home_dir}/logs/relay-bin.index
relay_log_purge = 1
# 从库只读,禁止普通用户写入
read_only = 1
super_read_only = 1

# ---------------------- 连接数与表缓存 ----------------------
max_connections = 800
table_open_cache = 4096

# ---------------------- 慢查询日志(故障排查) ----------------------
slow_query_log = 1
slow_query_log_file = ${mysql_home_dir}/logs/slow.log
long_query_time = 1
log_queries_not_using_indexes = 1

# ---------------------- InnoDB 核心优化参数 ----------------------
innodb_file_per_table = 1
innodb_buffer_pool_size = 2G
innodb_buffer_pool_instances = 2
# 8.4废弃innodb_log_file_size,改用统一redo容量
innodb_redo_log_capacity = 1G
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 1
innodb_page_cleaners = 2
innodb_thread_concurrency = 16
innodb_sort_buffer_size = 2M
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_stats_persistent_sample_pages = 28
innodb_online_alter_log_max_size = 2G
innodb_open_files = 8192

# ---------------------- 单会话缓冲区 ----------------------
sort_buffer_size = 2M
join_buffer_size = 2M
tmp_table_size = 64M
max_heap_table_size = 64M

# ---------------------- 安全加固项 ----------------------
local_infile = 0
EOF

chown mysql:mysql /opt/modules/mysql/my.cnf
初始化(3个节点)
mysqld \
--defaults-file=/opt/modules/mysql/my.cnf \
--initialize \
--user=mysql \
--basedir=/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64 \
--datadir=/opt/modules/mysql/data

# 如果mysqld命令执行失败,修改配置后,执行以下命令后再次执行mysqld命令
rm -rf /opt/modules/mysql/{data,logs,tmp}
mkdir -p /opt/modules/mysql/{data,logs,tmp}
chown -R mysql:mysql /opt/modules/mysql

保存初始化后的 root 密码

# 查看日志,查看初始化root密码
$ cat /opt/modules/mysql/logs/error.log

# 主库
root@localhost: D:%EkoR=P1d%
# 从库1
root@localhost: HYCAlY_oD8cG
# 从库2
root@localhost: (Tfv*EVHB3gd

mysql -uroot -p'D:%EkoR=P1d%'
mysql -uroot -p'HYCAlY_oD8cG'
mysql -uroot -p'(Tfv*EVHB3gd'

启动 MySQL

1)创建 Systemd 系统服务单元文件(在 3 台 Tools 机器上执行)

mysql_home_dir=/opt/modules/mysql
mysql_home_dir_source=/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64

# 创建服务
cat > /etc/systemd/system/mysqld.service << EOF
[Unit]
Description=MySQL 8.4.10 Database Service
Documentation=https://dev.mysql.com/doc/refman/8.4/en/
After=network.target syslog.target

[Service]
User=mysql
Group=mysql
Type=simple
PIDFile=${mysql_home_dir}/tmp/mysqld.pid
# 启动命令
ExecStart=${mysql_home_dir_source}/bin/mysqld --defaults-file=${mysql_home_dir}/my.cnf
# 优雅停机,超时5分钟强制杀死
ExecStop=${mysql_home_dir_source}/bin/mysqladmin --defaults-file=${mysql_home_dir}/my.cnf shutdown
TimeoutStopSec=300

# 文件句柄限制
LimitNOFILE=65535
LimitNPROC=65535

# 资源防护,生产安全必开
PrivateDevices=true
ProtectSystem=strict
ProtectHome=true
NoNewPrivileges=true
ReadWritePaths=${mysql_home_dir}

# 内存上限,根据当前innodb 2G设置,预留系统内存
MemoryMax=4G

# 重启策略
Restart=on-failure
RestartSec=5s
# 正常退出不自动重启
RestartPreventExitStatus=0 16

# systemd 日志托管,journalctl -u mysqld 查看启动日志
StandardOutput=journal+console
StandardError=journal+console

[Install]
WantedBy=multi-user.target
EOF

2)启动 MySQL 服务(在 3 台 Tools 机器上执行)

# 重载systemd配置
systemctl daemon-reload
# 设置开机自启
systemctl enable mysqld
# 启动服务
systemctl start mysqld
# 查看状态
systemctl status mysqld
# 查看启动日志
journalctl -u mysqld -f

基础验证

1)创建 mysql.sock 软链接,便于 mysql 客户端命令连接(在 3 台 Tools 机器上执行)

ln -s /opt/modules/mysql/tmp/mysql.sock /tmp/mysql.sock
mysql -uroot -p'D:%EkoR=P1d%'
mysql -uroot -p'HYCAlY_oD8cG'
mysql -uroot -p'(Tfv*EVHB3gd'

2)修改 Root 的初始化密码。本项目必须先修改密码,才能执行 SQL 语句。

主库修改密码

-- 登录 mysql 后,执行修改密码 sql
ALTER USER 'root'@'localhost' IDENTIFIED BY 'mysql.corpcloud.cn';

执行 SQL 语句成功

show databases;

从库修改密码,执行下列 SQL 语句

-- 仅限制普通用户,root仍能写
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 0;

ALTER USER 'root'@'localhost' IDENTIFIED BY 'mysql.corpcloud.cn';

# 修改密码后,再次打开配置
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 1;

主从配置

启动主从

1)主节点执行

行业统一用 repl(replication 复制缩写)只是运维习惯,好辨认。

$ mysql -uroot -p'mysql.corpcloud.cn'

-- 创建复制用户
CREATE USER 'repl'@'%' IDENTIFIED BY 'repl.mysql.corpcloud.cn';
-- 授予最小同步权限
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;

在主库(Source)查看当前正在写入的二进制日志(binlog)坐标位点,专门用于两件事:

  1. 搭建一主两从主从复制:告诉从库从哪个日志文件、哪个字节位置开始同步数据;
  2. 数据恢复(时间点还原):备份后记录当前 binlog 位点,后续可回放增量日志恢复数据。
mysql> SHOW BINARY LOG STATUS;
+------------------+----------+--------------+------------------+-------------------+
| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 |     1176 |              |                  |                   |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

2)所有从节点执行

配置复制源(8.4 专用 CHANGE REPLICATION SOURCE TO)

# 执行下列 SQL 语句
$ mysql -uroot -p'mysql.corpcloud.cn'

STOP REPLICA;
RESET REPLICA ALL;

## 根据自己情况修改下列连接信息
CHANGE REPLICATION SOURCE TO
SOURCE_HOST='192.168.101.125',
SOURCE_USER='repl',
SOURCE_PASSWORD='repl.mysql.corpcloud.cn',
SOURCE_PORT=3306,
SOURCE_LOG_FILE='mysql-bin.000002',
SOURCE_LOG_POS=1176,
GET_SOURCE_PUBLIC_KEY=1,  -- 8.4关键参数,解决caching_sha2_password连接报错
SOURCE_CONNECT_RETRY=10;

启动复制线程 & 查看同步状态

-- 启动IO、SQL线程,这两个线程决定本项目主从数据库是否配置成功
START REPLICA;

-- 查看主从同步状态
SHOW REPLICA STATUS\G

3)主从高频运维命令汇总

1. 启停复制
START REPLICA;
STOP REPLICA;
STOP REPLICA IO_THREAD;
STOP REPLICA SQL_THREAD;

2. 重置复制(更换主库 / 重新同步)
STOP REPLICA;
RESET REPLICA ALL;

3. 查看主库 binlog 文件列表
SHOW BINARY LOGS;

4. 临时关闭从库只读(运维改数据)
SET GLOBAL read_only=0;
SET GLOBAL super_read_only=0;
验证主从

1)查看从节点信息(主库执行)

# 查看当前的从节点
SHOW REPLICAS;

2)主库创建 数据库,从库可以正常查看数据库,验证完成

# 主库创建
create database demo;

# 从库查看
show databases;

主库

从库1

从库2

Docker 部署

目前 Docker 部署的所有组件都将部署在/opt/platform-tools/<组件名称>目录

安装 MySQL

# 默认镜像
mysql:8.4.10

# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/mysql:8.4.10
mkdir -p /opt/platform-tools/mysql
cd /opt/platform-tools/mysql

# 启动
mkdir -p ./conf/conf.d

cat > ./conf/conf.d/my.cnf << EOF
[mysqld]
mysql-native-password=ON
EOF

docker run -dit -p 3305:3306 --name mysql-8 --restart=always --privileged=true \
-v ./log:/var/log/mysql \
-v ./data:/var/lib/mysql \
-v ./conf:/etc/mysql \
-v /etc/localtime:/etc/localtime:ro \
-e MYSQL_ROOT_PASSWORD=mysql.corpcloud.cn \
registry.corpcloud.cn/demo/mysql:8.4.10

# 容器目录
/etc/mysql/conf.d
/etc/my.cnf

修改用户的插件认证类型 SQL

-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3306 端口监听表示服务启动成功

docker logs -f mysql-8

$ docker exec -it mysql-8 bash

$ mysql -uroot -pmysql.corpcloud.cn
mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
mysql> exit
Bye
bash-5.1# exit

容器中默认配置(可忽略此步骤)

$ cat /etc/my.cnf
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/8.4/en/server-configuration-defaults.html

[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M

host-cache-size=0
skip-name-resolve
datadir=/var/lib/mysql
socket=/var/run/mysqld/mysqld.sock
secure-file-priv=/var/lib/mysql-files
user=mysql

pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/var/run/mysqld/mysqld.sock

!includedir /etc/mysql/conf.d/

安装 PostgreSQL 16

1)部署 PostgreSQL 16

# 默认镜像
postgres:16 

# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/postgres:16

创建 compose 启动 PostgreSQL

# 创建工作目录
mkdir -p /opt/platform-tools/PostgreSQL
cd /opt/platform-tools/PostgreSQL

# 创建对应服务的用户与数据库,如:jumpserver
service_db_name=harbor
service_db_user=harbor
service_db_user_password='psql.harbor.corpcloud.cn'

# 创建初始化 SQL,这个init.sql用于创建harbor数据库
cat > init.sql << EOF
-- 创建用户
CREATE USER ${service_db_user} WITH PASSWORD '${service_db_user_password}';
-- 创建数据库并指定所有者,OWNER 让 harbor 用户成为库的所有者
CREATE DATABASE ${service_db_name} OWNER ${service_db_user};
EOF

# 创建compose.yaml文件
cat > docker-compose-postgres.yaml << EOF
version: '3.8'
services:
  postgres:
    image: registry.corpcloud.cn/demo/postgres:16
    container_name: postgres16
    restart: unless-stopped
    environment:
      POSTGRES_PASSWORD: psql.corpcloud.cn   # 超级用户 postgres 的密码
      POSTGRES_USER: postgres                   # 超级用户名(默认)
      POSTGRES_DB: postgres                     # 默认数据库(可选)
      TZ: Asia/Shanghai
    ports:
      - "5432:5432"
    volumes:
      - ./pg_data:/var/lib/postgresql/data         # 持久化数据
      - ./init.sql:/docker-entrypoint-initdb.d/init.sql   # 初始化脚本
EOF

# 启动服务
docker compose  -f docker-compose-postgres.yaml up -d

# 停止服务
docker compose  -f docker-compose-postgres.yaml down

2)postgres16 容器启动之后,自动执行 init.sql 文件,创建用户和数据库

# 进入名为 postgres16 的 Docker 容器,以 postgres 用户身份,连接到 harbor 数据库
$ docker exec -it postgres16 psql -U postgres -d ${service_db_name}
-- 查看所有数据库
\l
-- 查看当前连接信息
\conninfo

# 创建数据库(可选,按实际修改数据库名称)
CREATE DATABASE harbor;

# 删除数据库(可选)
postgres=# DROP DATABASE IF EXISTS jumpserver;
DROP DATABASE

# 创建数据库(可选)
postgres=# CREATE DATABASE jumpserver;
CREATE DATABASE

安装 Redis

JumpServer 早期版本不支持连接 Redis 集群。

# 默认镜像
redis:8.6.4

# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/redis:8.6.4
mkdir -p /opt/platform-tools/redis
cd /opt/platform-tools/redis

cat > docker-compose-redis.yaml << EOF
version: '3.8'
services:
  redis:
    image: registry.corpcloud.cn/demo/redis:8.6.4
    container_name: redis
    restart: unless-stopped
    ports:
      - "6379:6379"               # 映射端口,允许外部访问
    command: redis-server --requirepass "redis.corpcloud.cn" --bind 0.0.0.0 --protected-mode no
    volumes:
      - ./redis_data:/data          # 持久化数据,避免容器删除后数据丢失
    # 可选:设置时区
    environment:
      - TZ=Asia/Shanghai
EOF
    
docker compose -f docker-compose-redis.yaml up -d

docker compose  -f docker-compose-redis.yaml down

# 测试
$ docker exec -it redis redis-cli
# 验证密码(进入后执行)
AUTH redis.corpcloud.cn
# 测试基本操作
PING
# 应返回:PONG

安装 minio

# 默认镜像
minio/minio:latest
# 现在镜像
registry.corpcloud.cn/demo/minio:latest
mkdir -p /opt/platform-tools/minio
cd /opt/platform-tools/minio

cat > docker-compose.yaml << EOF
services:
  minio:
    image: registry.corpcloud.cn/demo/minio:RELEASE.2025-09-07T16-13-09Z
    container_name: minio
    restart: always

    ports:
      # API端口
      - "9000:9000"
      # Web控制台端口
      - "9001:9001"

    environment:
      MINIO_ROOT_USER: admin
      MINIO_ROOT_PASSWORD: minio.corpcloud.cn

    volumes:
      - ./data:/data

    command: server /data --console-address ":9001"

    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
      interval: 30s
      timeout: 20s
      retries: 3
EOF

docker compose up -d

docker compose down

http://192.168.101.104:9001/ admin/minio.corpcloud.cn

K8s 部署

安装 Nacos

在本项目的规划中 Nacos 部署在各个环境的 K8s 集群当中。一套 K8s 集群对应部署一套 Nacos 集群。

Nacos 部署本项目可采用** Operator 方式部署 Nacos 集群**,这也是官方文档推荐方式。本次将安装 Nacos-v3.2.3 目前最新版本。

Nacos 官方文档文档 K8s 集群部署方式:访问跳转

Nacos Operator 官方文档部署文档(文档比较旧):访问跳转

Operator 参考资料

Operator 概念:K8s二开必须要懂的核心概念-Operator

Operator 实操:全网最详细的Kubebuilder开发K8s Operator的全流程指南,细致入微(真不标题党!)

安装 Nacos Operator

1)下载 nacos-k8s 源码:https://github.com/nacos-group/nacos-k8s

下载地址:https://github.com/nacos-group/nacos-k8s/releases

上传到服务器解压

yum install -y unzip zip

mkdir -p /opt/platform-tools/operator

tar -xf nacos-k8s-1.0.2.tar.gz

mv nacos-k8s-1.0.2* /opt/platform-tools/operator

cd /opt/platform-tools/operator/nacos-k8s-1.0.2

2)helm 安装 Nacos Operator

./operator:operator 的代码家目录,存放 operator 所有相关信息。

# 默认镜像
nacos/nacos-operator

# 使用镜像
registry.corpcloud.cn/demo/nacos-server:latest
cd /opt/platform-tools/operator/nacos-k8s-1.0.2

kubectl create ns nacos-operator

# helm 安装
helm install nacos-operator ./operator/chart/nacos-operator \
     --namespace nacos-operator \
     --set image.repository=registry.corpcloud.cn/demo/nacos-operator \
     --set image.pullPolicy=IfNotPresent

导入初始化 SQL

1)下载对应版本的初始化 SQL:https://github.com/alibaba/nacos/releases/tag/3.2.3

将这个 SQL 上传到 mysql-8 容器内

docker cp /root/mysql-schema.sql mysql-8:/root/mysql-schema.sql

2)登录 192.168.101.104 安装 MySQL 的节点,创建 nacos_dev 数据库。

生产环境每个环境都不要使用同一个数据库实例。

本项目这个项目 Demo 后续都将使用这个数据库实例,为了节约资源。所以此处通过名称区分一下环境,比如:nacos_dev、nacos_test、nacos。(只针对本云原生项目)

开启mysql_native_password插件(一定要打开)

$ cat /opt/modules/mysql/my.cnf  # 按实际 MySQL 路径修改
[mysqld]
mysql_native_password=ON

$ systemctl restart mysqld

进入 mysql-8 容器

docker exec -it mysql-8 bash
mysql -uroot -pmysql.corpcloud.cn

执行 SQL

create database nacos_dev;
use nacos_dev;
source /root/mysql-schema.sql;

-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

运行 Nacos Operator 的 CR

鉴权手册

运行 Nacos 需要开启对应的鉴权模式,本次使用默认鉴权类型。

参考官方文档文档:访问跳转至鉴权手册

选择 Docker 部署方式,可以获取对应的环境变量参考实例,K8s 部署时也需要这些变量。

各变量解释

生成变量值,安装 Nacos CR 时使用。

1. 自定义生成 NACOS_AUTH_TOKEN 的值,需要通过 base64 转码
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
SdzSkqHxpbCX0AiwFsIn4TCgUlB5sgsU
$ echo -n "SdzSkqHxpbCX0AiwFsIn4TCgUlB5sgsU" | base64
U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U=

2. NACOS_AUTH_IDENTITY_KEY # 这个值可以随意填
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
2DX2LYupf5fQFgbUP9OO2dqX864CiyrC

3. NACOS_AUTH_IDENTITY_VALUE # 这个值可以随意填
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
uwtopQSl5eOTLorjssQXskp5ZDL8AYKu

custom_base64_token_secret_key="U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U="
custom_server_identity_key="2DX2LYupf5fQFgbUP9OO2dqX864CiyrC"
custom_server_identity_value="uwtopQSl5eOTLorjssQXskp5ZDL8AYKu"

# 参考
NACOS_AUTH_ENABLE=true
NACOS_AUTH_ADMIN_ENABLE=true
NACOS_AUTH_CONSOLE_ENABLE=true
NACOS_AUTH_SYSTEM_TYPE=nacos
NACOS_AUTH_TOKEN=${custom_base64_token_secret_key}
NACOS_AUTH_IDENTITY_KEY=${custom_server_identity_key}
NACOS_AUTH_IDENTITY_VALUE=${custom_server_identity_value}
安装 Nacos 服务 CR

./operator/nacos-k8s-master/operator/config/samples:存放 CR 样本的目录,可以直接使用里面的 yaml 文件部署

# 默认镜像
nacos/nacos-server:v2.0.3

# 使用镜像
registry.corpcloud.cn/demo/nacos-server:v3.2.3

需修改命名空间、镜像、MySQL 连接信息和环境变量

cd /opt/platform-tools/operator/nacos-k8s-1.0.2

# 备份 nacos_cluster_mysql.yaml
cp ./operator/config/samples/nacos_cluster_mysql.yaml ./operator/config/samples/nacos_cluster_mysql.yaml.bak

kubectl create ns nacos

# 部署Naocs集群,修改项:名称空间、镜像、环境变量
cat > ./operator/config/samples/nacos_cluster_mysql.yaml << EOF
apiVersion: nacos.io/v1alpha1
kind: Nacos
metadata:
  name: nacos
  namespace: nacos # 修改名称空间
spec:
  type: cluster
  # image: nacos/nacos-server:v2.0.3
  image: registry.corpcloud.cn/demo/nacos-server:v3.2.3 # 使用Nacos最新版本
  replicas: 3
  env:
  - name: NACOS_AUTH_ENABLE
    value: "true"
  - name: NACOS_AUTH_ADMIN_ENABLE
    value: "true"
  - name: NACOS_AUTH_CONSOLE_ENABLE
    value: "true"
  - name: NACOS_AUTH_SYSTEM_TYPE
    value: nacos
  - name: NACOS_AUTH_TOKEN
    value: U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U=
  - name: NACOS_AUTH_IDENTITY_KEY
    value: 2DX2LYupf5fQFgbUP9OO2dqX864CiyrC
  - name: NACOS_AUTH_IDENTITY_VALUE
    value: uwtopQSl5eOTLorjssQXskp5ZDL8AYKu
  resources:
    requests:
      cpu: 100m
      memory: 512Mi
    limits:
      cpu: 1
      memory: 2Gi
  database:
    type: mysql
    mysqlHost: 192.168.101.125
    mysqlDb: nacos_dev
    mysqlUser: nacos
    mysqlPort: "3306"
    mysqlPassword: "nacos.mysql.corpcloud.cn"
  config: | # 自定义配置
    management.endpoints.web.exposure.include=* # 开发所有监控端点
EOF

# 创建Nacos集群
kubectl apply -f  ./operator/config/samples/nacos_cluster_mysql.yaml

访问 Nacos

Nacos 端口介绍

  1. 8848 端口:基于HTTP 协议,为了兼容 Nacos1.x 旧版客户端的连接端口。
  2. 9848 端口:基于 HTTP/2 协议的 gRPC,用于 Nacos 2.x 以及当前最新版本都是使用的该端口进行的通讯,实现服务注册 / 发现、配置监听、长连接推送、实例心跳上报。在实际配置过程中,本项目还是配置 8848 端口,因为程序的 SDK 会自动与在8848 + 1000得到 9848 端口。
  3. 7848 端口:基于 JRaft 分布式一致性算法,用于 Nacos 集群 Raft 选举、数据同步,仅集群内部互通。
  4. 8080 端口:目前只有 Nacos-3.x 采用,主要用于将 Web 控制台端口独立和 8848 分离。3.x 之前版本是通过 http://ip:8848/nacos 访问的 UI 页面。

Nacos Operator 版本和 Nacos 版本有点不一致。比如:目前最新版本的 Nacos UI 访问端口为 8080,然而 CR 创建的 Nacos,名为 nacos-healess 的 Service,没有开启 8080 端口。

所以本方案需要手动创建一个 Nacos Servcie

apiVersion: v1
kind: Service
metadata:
  labels:
    app: nacos
    component: nacos
    middleware: nacos
  name: nacos
  namespace: nacos
spec:
  ports:
    - name: client
      port: 8848
      protocol: TCP
      targetPort: 8848
    - name: rpc
      port: 7848
      protocol: TCP
      targetPort: 7848
    - name: new-rpc
      port: 9848
      protocol: TCP
      targetPort: 9848
    - name: ui
      port: 8080
      protocol: TCP
      targetPort: 8080
  selector:
    app: nacos
    component: nacos
    middleware: nacos
  type: ClusterIP

创建 Ingress

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: nacos-dev.corpcloud.cn
  namespace: nacos
spec:
  ingressClassName: nginx
  rules:
    - host: nacos-dev.corpcloud.cn
      http:
        paths:
          - backend:
              service:
                name: nacos
                port:
                  number: 8080
            path: /
            pathType: Prefix

配置域名解析

浏览器访问 nacos-dev.corpcloud.cn,此处设置初始化密码为 nacos

登录账号 nacos/nacos

访问右上角可以切回旧版控制台页面

开发环境中配置的 Nacos 地址

开发环境中,开发人员本地开发调试一般都是通过nacos-dev.corpcloud.cn:8848域名 + 端口来连接 Nacos。

为了在开发环境使用通过域名 + 端口访问,本项目需要在 Ingress 中添加如下端口映射。执行下方命令更新即可:

helm upgrade ingress-nginx ingress-nginx \
    --reuse-values \
    --namespace ingress-nginx \
    --set tcp.7848="nacos/nacos-headless:7848" \
    --set tcp.8848="nacos/nacos-headless:8848" \
    --set tcp.9848="nacos/nacos-headless:9848"

关于 Nacos 双写

双写的诞生背景是,Nacos 1.x 升级到 2.x 平滑升级过渡的机制,因为 1.x 和 2.x 服务注册内存数据结构完全不一样。所以双写只针对服务发现,配置中心不受这个双写影响。

哪些 Nacos 版本默认开启双写?

Nacos 2.0.0~2.0.4 版本默认开启了双写,若使用的此处的版本,那么在安装时,需关闭双写,不然有可能出现服务注册数据不一致的情况。

使用 Nacos 2.0.0~2.0.4 版本时,Nacos 1.x 不支持 gRPC 连接,报错见下图或Nacos cluster is running with 1.X mode, can‘t accept gRPC request temporarily.

解决方法参考:

  1. nacos集群部署,报错Nacos cluster is running with 1.X mode, can‘t accept gRPC request temporarily._nacos cluster is running with 1.x mode, can’t acce-CSDN博客
  2. nacos 为什么要关闭双写?
  3. nacos 怎么关闭双写?

1)执行下方命令,查看 Nacos 节点监控,同时查看双写是否关闭

curl -X GET 'localhost:8848/nacos/v1/ns/upgrade/ops/metrics'

2)关闭双写

curl -X PUT 'localhost:8848/nacos/v1/ns/operator/switches?entry=doubleWriteEnabled&value=false'

删除 CR 和 Nacos Operator

kubectl delete -f  ./operator/config/samples/nacos_cluster_mysql.yaml

helm delete nacos-operator -n nacos-operator

END


05 · 基础组件与平台工具组件

基础组件

基础组件非常重要,它一但故障将影响上层所有服务。

部署 PowerDNS 与实践方案

架构

PowerDNS 架构如下:

  1. 首先在 3 个机房创建 tools 节点,部署 MySQL 主从,cd-tools 节点作为 Master 节点,其余作为 Slave 节点。
  2. 分别在 3 个机房中独立部署 PowerDNS,各机房配套本地 MySQL 数据库。然后就近调用本机房 PowerDNS 提供域名解析服务。
  3. 在成都机房部署 PowerDNS-Admin(UI 组件)可以通过 Docker 部署在 cd-tools 节点,也可以通过 K8s 部署在 Plat 集群中。
  4. 后续本项目都将通过 PowerDNS-Admin 来进行管理 PowerDNS 的增删改查。这样通过 MySQL 主从数据库即可实现 3 个机房的数据保持一致。

优势:

  1. 记录级同步、延迟低、各机房查询本地 MySQL 速度快。
  2. PDNS 配置(三台完全一样)不需要master=yes、slave=no、allow-axfr-ips 等参数。

画板

PowerDNS 介绍

GitHub 地址:https://github.com/PowerDNS/pdns

官方文档文档:https://docs.powerdns.com/index.html

PowerDNS 成立于上世纪 90 年代后期,是开源 DNS 的主要供应商。

PowerDNS 也有商业化的产品支持,其用户和客户包括了全球领先的电信服务供应商、大型集成商及财富500强软件公司,在斯堪的纳维亚、德国和荷兰,PowerDNS 是域名服务器软件的第一大供应商。

PowerDNS 官方文档提供了三种主要产品:权威服务器(Authoritative)、递归器(Recursor)和 dnsdist。权威服务器和递归是独立组件,可以无缝混合使用,而 dnsdist 则提供高性能负载均衡和 DDoS 防护。

与 Bind 不同,PowerDNS 的权威和递归服务是分开的服务。

本次项目本项目主要会介绍到权威服务器(Authoritative)、递归器(Recursor)。Authoritative + Recursor 实现内外网解析。

环境准备

  • Rocky Linux 8 / 9 / 10(本次版本 10)
  • MySQL 8.0+(本次版本 8.4.10)
  • 需要 EPEL 仓库(PowerDNS 依赖所需)
  • 端口 53、54 (UDP+TCP) 未被占用

安装权威服务器(Authoritative)

1)配置仓库

参考 PowerDNS 仓库配置文档:https://repo.powerdns.com/

# 安装EPEL仓库
dnf install epel-release -y

# 获取PowerDNS仓库,使用5.1.x最新稳定版
curl -o /etc/yum.repos.d/powerdns-auth-51.repo https://repo.powerdns.com/repo-files/el-auth-51.repo

2)安装

参考 安装权威服务器 官方文档文档:https://docs.powerdns.com/authoritative/installation.html

后端包与版本:https://packages.debian.org/search?keywords=pdns-backend

dnf install pdns -y
dnf install pdns-backend-mysql -y

两个包的区别:

  • pdns — PowerDNS Authoritative Server 主程序,包含核心 DNS 服务 + BIND zone file 后端(内置)
  • pdns-backend-mysql — MySQL 存储后端插件,让 pdns 能从 MySQL 数据库读写 DNS 记录

pdns 本身不带 MySQL 支持,单独装 pdns 只能用 BIND zone file。要存 MySQL 就必须两个都装

3)创建表结构

# 从库临时关闭只读(在线生效,无需重启)(可选)
SET GLOBAL read_only = 0;
SET GLOBAL super_read_only = 0;

# 操作完成,立刻恢复只读(生产必须还原,防止误写破坏主从)(可选)
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 1;

创建数据库、用户、授权

-- 登录 MySQL
mysql -u root -p

-- 1. 创建数据库
CREATE DATABASE powerdns DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;

-- 2. 创建用户(MySQL 8 必须先建用户再授权)
CREATE USER 'powerdns'@'localhost' IDENTIFIED BY 'powerdns.mysql.corpcloud.cn';
CREATE USER 'powerdns'@'%' IDENTIFIED BY 'powerdns.mysql.corpcloud.cn';

-- 如果 PowerDNS 启动日志报错 "caching_sha2_password cannot be loaded"
-- 若提示 libmysqlclient 版本较老,删除用户并改用 mysql_native_password:
-- DROP USER 'powerdns'@'%';
-- CREATE USER 'powerdns'@'%' IDENTIFIED WITH mysql_native_password BY 'your_password';

-- 3. 授权(用户必须先存在,否则报 ERROR 1410)
GRANT ALL PRIVILEGES ON powerdns.* TO 'powerdns'@'%';
GRANT ALL PRIVILEGES ON powerdns.* TO 'powerdns'@'localhost';

-- 4. 刷新权限
FLUSH PRIVILEGES;

导入自带 SQL,创建表结构

# 查找 schema 文件路径
rpm -ql pdns-backend-mysql | grep schema

# 导入(-p和密码之间不能有空格)
mysql -u powerdns -p'powerdns.mysql.corpcloud.cn' powerdns < /usr/share/doc/pdns-backend-mysql/schema.mysql.sql

## docker
docker cp /usr/share/doc/pdns-backend-mysql/schema.mysql.sql mysql-8:/root/schema.mysql.sql
mysql -u powerdns -p'powerdns.mysql.corpcloud.cn' powerdns < /root/schema.mysql.sql

验证表结构

USE powerdns;
SHOW TABLES;
-- 应输出: domains, records, supermasters, comments, domainmetadata, cryptokeys, tsigkeys

mysql> show tables;
+--------------------+
| Tables_in_powerdns |
+--------------------+
| comments           |
| cryptokeys         |
| domainmetadata     |
| domains            |
| records            |
| supermasters       |
| tsigkeys           |
+--------------------+
7 rows in set (0.00 sec)

4)配置 PowerDNS(在3台都执行)

备份配置文件

cp /etc/pdns/pdns.conf /etc/pdns/pdns.conf.bak

编辑 /etc/pdns/pdns.conf

需修改以下内容:

  • gmysql-host 使用 IP 地址,避免鸡生蛋问题(PowerDNS 启动时需要连 MySQL,如果用域名解析又依赖 PowerDNS 自己就会死循环)
  • api-key 使用 cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24生成24位随机字符串。如:4tPJP7YYijdymaiR0DniaQzv
  • MySQL 连接参数根据自行情况修改
  • local-port端口默认 53,此处使用 54。递归器(Recursor)服务使用 53
cat > /etc/pdns/pdns.conf << EOF
#################################
#         MySQL 后端            #
#################################
launch=gmysql
gmysql-host=192.168.101.130
gmysql-port=3306
gmysql-dbname=powerdns
gmysql-user=powerdns
gmysql-password=powerdns.mysql.corpcloud.cn
gmysql-innodb-read-committed=yes

#################################
#          运行模式               #
#################################
daemon=yes
setgid=pdns
setuid=pdns

#################################
#          网络监听               #
#################################
local-address=0.0.0.0
local-port=54

#################################
#          HTTP API              #
#################################
api=yes
api-key=4tPJP7YYijdymaiR0DniaQzv
webserver=yes
webserver-address=0.0.0.0
webserver-port=8081
webserver-allow-from=0.0.0.0/0 # 允许任意 IP 访问,生产环境宜改为内网段,防止 API 被公网访问

#################################
#           日志                 #
#################################
log-timestamp=yes
loglevel=4 # 只记录警告和错误,避免日志爆炸。loglevel=6 太详细,生产环境宜用 3-4
log-dns-details=no
query-logging=no # 关闭查询日志,生产环境不宜记录所有查询

#################################
#          DNSSEC                #
#################################
# 如需启用 DNSSEC,在后端中配置(MySQL 用 gmysql-dnssec=yes)
# 不启用则无需配置,默认关闭
EOF

5)启动服务(在3台都执行)

# PDNS 以 pdns 用户运行,必须能读配置文件
chown pdns:pdns /etc/pdns/pdns.conf
# 或者
chmod 644 /etc/pdns/pdns.conf

systemctl restart pdns
systemctl enable pdns
systemctl status pdns
journalctl -u pdns -f

6)测试(在第一台主库的PowerDNS执行)

命令创建域名与解析记录

# 1. 创建域名区域 corpcloud.cn(已创建可跳过)
pdnsutil create-zone corpcloud.cn

# 2. 查看系统全部域名zone,确认corpcloud.cn存在
pdnsutil list-all-zones

# 3. 添加A记录 harbor.corpcloud.cn 指向 192.168.101.109
pdnsutil add-record corpcloud.cn harbor.corpcloud.cn. A 192.168.101.120

# 4. 查看corpcloud.cn下所有解析记录,验证harbor记录是否添加成功
pdnsutil list-zone corpcloud.cn
yum install -y bind-utils

dig harbor.corpcloud.cn @192.168.101.125
安装 PowerDNS-Admin UI 页面(可以采用K8s安装这个服务)

PowerDNS-Admin GitHub:https://github.com/PowerDNS-Admin/PowerDNS-Admin

SECRET_KEY 是 Flask(PowerDNS-Admin 底层 Web 框架)的密钥,用于:

  • 用户登录 session 签名
  • CSRF 防跨站攻击 token 生成
  • 其他安全加密操作
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24
jn7EOk6cNRkRlwDBtkKxc0xI

mkdir -p /opt/platform-tools/powerdns
cd /opt/platform-tools/powerdns
mkdir -p ./pda-data
chmod 777 ./pda-data
$ docker run -d \
    --name powerdns-admin \
    -e SECRET_KEY='jn7EOk6cNRkRlwDBtkKxc0xI' \
    -v ./pda-data:/data \
    -p 9191:80 \
    registry.corpcloud.cn/demo/pda-legacy:latest

# 删除 powerdns-admin
docker rm -f powerdns-admin

# 镜像
powerdnsadmin/pda-legacy:latest # 默认镜像
registry.corpcloud.cn/demo/pda-legacy:latest

访问 http://192.168.101.104:9191,首次登录需要创建一个账号(admin/powerdns.corpcloud.cn),见图:

此处是 pdns.conf 文件配置的 API 端口与地址

PowerDNS 备注规范

域名解析备注规范,分两种情况,K8s集群部署和主机部署的服务。

1)K8s集群

规范写法:K8s集群_环境_项目名_域名解析名

例:nj-qh-az01-biz-priv-dev-01_prod_Harbor_nj-harbor

2)主机部署

虚拟机:VM

物理机:PM

规范写法:机房-可用区-(VM/PM)-主机IP_环境_项目名_域名解析名

例:CD-DC01-AZ01-VM-192.168.101.104_prod_GitLab_gitlab

3)验证

这样可以清晰知道该解析对应的服务以及部署为主,同时也能方便本项目找到想要的域名解析,也方便本项目管理。

后续文档文档中,出现不规范的备注名,不用理会,该规范都以下图为准。

递归器(Recursor)(所有项目都安装)

1)安装

递归器安装:https://docs.powerdns.com/recursor/index.html

yum install pdns-recursor -y

2)配置

递归器配置 YAML 语法:https://docs.powerdns.com/recursor/yamlsettings.html

递归器配置:https://docs.powerdns.com/recursor/settings.html

cp /etc/pdns-recursor/recursor.conf /etc/pdns-recursor/recursor.conf.bak

从 5.0.0 版本开始,递归支持配置文件的新 YAML 语法

pdnsutil list-all-zones | while read zone junk; do echo "${zone}=127.0.0.1:54"; done > /etc/pdns-recursor/forward-zones.conf

allow_from 字段以下的网段如果没有覆盖当前,容器网段、局域网段,可以自行加上。

cat > /etc/pdns-recursor/recursor.conf << EOF
incoming:
  allow_from:
    - 127.0.0.0/8
    - 10.0.0.0/8
    - 100.64.0.0/10
    - 169.254.0.0/16
    - 192.168.0.0/16
    - 172.16.0.0/12
  listen:
    - 0.0.0.0:53
  max_tcp_per_client: 256

dnssec:
  validation: off
  
outgoing:
  network_timeout: 3000
  
recordcache:
  max_negative_ttl: 60    # 负缓存最多 60 秒,默认从 SOA 取值。为了使修改的域名解析及时生效。
  
recursor:
  # forward_zones:
  #   - zone: corpcloud.cn
  #     forwarders:
  #       - 127.0.0.1:54          # pdns-auth 的地址和端口
  #     recurse: true
  forward_zones_file: /etc/pdns-recursor/forward-zones.conf
  forward_zones_recurse:
    - zone: .
      forwarders:
        - 223.5.5.5
        - 114.114.114.114
      recurse: true
  security_poll_suffix: ""
  setgid: pdns-recursor
  setuid: pdns-recursor
  threads: 2

logging:
  trace: false
  loglevel: 6
  timestamp: true
EOF

创建脚本自动化脚本:实现自动获取当前创建的 zone(一级域名),是否与 forward-zones.conf 文件中保持一致,不一致就增或减。

forward-zones.conf 作用:此处是用于存放 zone(一级域名)的,主要是为了实现本项目内部的域名优先解析(优先查找权威服务器),如果内部域名没有该域名解析,就使用阿里云的 DNS 来解析。

cat > /etc/pdns-recursor/sync-pdns-zones.sh << 'EOF'
#!/bin/bash

FORWARD_FILE="/etc/pdns-recursor/forward-zones.conf"
AUTH_ADDR="127.0.0.1:54"
CHANGED=0

# 1. 从 auth 获取当前所有 zone,存到临时文件
pdnsutil list-all-zones | awk '{print $1}' > /tmp/auth-zones.tmp

# 2. 对比:删除 forward-zones.conf 中 auth 已经不存在的域名
while read line; do
    zone=$(echo "$line" | cut -d= -f1)
    if ! grep -qx "$zone" /tmp/auth-zones.tmp; then
        sed -i "\|^${zone}=|d" "$FORWARD_FILE"
        echo "REMOVED: ${zone}"
        CHANGED=1
    fi
done < "$FORWARD_FILE"

# 3. 对比:追加 auth 中新增的域名
while read zone _; do
    if ! grep -q "^${zone}=" "$FORWARD_FILE" 2>/dev/null; then
        echo "${zone}=${AUTH_ADDR}" >> "$FORWARD_FILE"
        echo "ADDED: ${zone}"
        CHANGED=1
    fi
done < /tmp/auth-zones.tmp

rm -f /tmp/auth-zones.tmp

# 4. 有变动就重启
if [ $CHANGED -eq 1 ]; then
    systemctl restart pdns-recursor
    echo "pdns-recursor restarted"
else
    echo "No changes"
fi
EOF

创建定时任务:每 1 分钟执行一次该脚本,这样可以始终保持域名一致

# 改成先检查再添加
if ! crontab -l 2>/dev/null | grep -q "/etc/pdns-recursor/sync-pdns-zones.sh"; then
    (crontab -l 2>/dev/null; echo "*/1 * * * * bash /etc/pdns-recursor/sync-pdns-zones.sh") | crontab -
fi

3)启动

touch /etc/pdns-recursor/forward-zones.conf

systemctl enable pdns-recursor
systemctl restart pdns-recursor
systemctl status pdns-recursor

journalctl -u pdns-recursor -f

yum install -y bind-utils
dig harbor.corpcloud.cn @192.168.101.104

4)验证

删除 hosts 中域名解析,添加nameserver 192.168.101.104的 PowerDNS 服务器地址,并只保留该 DNS 地址。

$ cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104

可以解析内网的域名,如:harbor.corpcloud.cn。也可以解析外网域名,如:baidu.com。

应用 PowerDNS

本项目安装好 PowerDNS 之后,需要将所有 Linux 和 Windoes 系统的 DNS 修改为本项目自己的 PowerDNS 服务器地址。这样本项目内部网络就可以正常解析到本项目内网的域名解析,同时因部署了**递归器(Recursor)**也可以解析到外部域名解析。

Linux 修改 DNS 服务器地址(各个机房填写自己的 PowerDNS 服务器地址)

1)删除 hosts 中域名解析,添加nameserver 192.168.101.104的 PowerDNS 服务器地址,并只保留该 DNS 地址。

$ cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104

2)测试

Windows 修改 DNS 服务器地址(各个机房填写自己的 PowerDNS 服务器地址)

1)进入控制面板,打开"更改适配器设置"页面(Win10、Win11通用)

2)手打配置 DNS 服务器。首选 DNS 地址配置 PowerDNS 的地址:192.168.101.104。

也可以配置备用 DNS 服务器,当首先 DNS 服务器宕机不可用时,会使用备用 DNS 服务器

3)关闭所有 Windows 系统中本地 hosts 解析(C:\Windows\System32\drivers\etc\hosts)

4)测试解析是否正常

jumpserver.corpcloud.cn 需要提前在 PowerDNS-Admin 页面中添加解析

K8s 集群中 Pod 容器内使用 PowerDSN 解析(各个机房填写自己的 PowerDNS 服务器地址)

本项目需实现在 K8s 集群中的容器中 ping 通 gitlab.corpcloud.cn 域名,如果不添加以下配置,是无法解析的,因为默认 K8s 容器中使用的 DNS 解析是 coredns 服务提供的(容器内填写的是 coredns 服务的 svc ip)。

所以本项目需把自己 PowerDNS 服务器 IP 加入到 coredns 服务的配置里面,这样容器中也能解析到 PowerDNS 中的域名解析。

1)查看宿主机 DNS 配置


[root@k8s-master01-192-168-101-106 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104
# nameserver 223.5.5.5
# nameserver 8.8.8.8

[root@k8s-master01-192-168-101-106 ~]# ping gitlab.corpcloud.cn
PING gitlab.corpcloud.cn (192.168.101.104) 56(84) bytes of data.
64 bytes from 192.168.101.104: icmp_seq=1 ttl=64 time=0.111 ms

2)查看容器内的 DNS 配置

# cat /etc/resolv.conf
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.96.0.10 # 容器内填写的是 coredns 服务的 svc ip
options ndots:5
/ # 
/ # 
/ # 
/ # ping gitlab.corpcloud.cn
ping: bad address 'gitlab.corpcloud.cn'
/ #

3)修改 CoreDNS 配置,集群全局永久生效,所有 Pod 通用(所有 K8s 集群全部修改,各个机房填写自己的 PowerDNS 服务器地址)

让集群 DNS 内置当前内网 PowerDNS 服务器,所有容器自动解析内网域名

# 修改 configmap
kubectl edit configmap coredns -n kube-system

正常使用

重启服务生效

kubectl -n kube-system rollout restart deployment/coredns

4)测试

  1. 容器之间依旧可以通
  2. 也可以通本项目的内网域名

平台管理工具

K8s 管理平台(80%)

K8s 管理平台用于替代大量 kubectl 操作,降低操作复杂度并减少误操作;同时便于开发、测试人员使用。

Kuboard

Kuboard 作为 K8s 管理工具,当前提供 v3 和 v4 版本;本项目采用 v3。

Kuboard 社区免费版仅支持 3 个 K8s 集群。本套文档涉及 4 个集群,因此部署两套 Kuboard:

  1. dev、test、prod 环境集群单独一套 Kuboard;
  2. plat 环境集群单独一套 Kuboard。

本项目以下将通过 K8s 来部署 Kuboard-v3 版本。

部署 Kuboard

将 Kuboard 部署在nj-jn-az01-plat-priv-prod-01集群中。

kubectl create ns kuboard

# IN_NET_IP=`ip addr | grep 'state UP' -A2 | grep inet | egrep -v '(127.0.0.1|inet6|docker)' | awk '{print $2}' | tr -d "addr:" | head -n 1 | cut -d / -f1`

mkdir -p /opt/platform-tools/k8s-yaml/kuboard-v3
cd /opt/platform-tools/k8s-yaml/kuboard-v3

cat > kuboard-all.yaml << EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kuboard
  namespace: kuboard
spec:
  replicas: 1
  selector:
    matchLabels:
      app: kuboard
  template:
    metadata:
      labels:
        app: kuboard
    spec:
      containers:
        - name: kuboard
          image: eipwork/kuboard:v3
          ports:
            - containerPort: 80
              protocol: TCP
            - containerPort: 10081
              protocol: TCP
          env:
            - name: KUBOARD_ENDPOINT
              value: "http://127.0.0.1:80"
            - name: KUBOARD_AGENT_SERVER_TCP_PORT
              value: "10081"
          volumeMounts:
            - name: kuboard-data
              mountPath: /data
      volumes:
        - name: kuboard-data
          hostPath:
            path: /opt/platform-tools/k8s-yaml/kuboard-v3/data
      restartPolicy: Always
---
# Service for Web UI (port 80)
apiVersion: v1
kind: Service
metadata:
  name: kuboard-web
  namespace: kuboard
spec:
  type: ClusterIP # NodePort
  selector:
    app: kuboard
  ports:
    - protocol: TCP
      port: 80
      targetPort: 80
      # nodePort: 30080 # 可选,不指定会自动分配

---
# Service for Agent communication (port 10081)
apiVersion: v1
kind: Service
metadata:
  name: kuboard-agent
  namespace: kuboard
spec:
  type: ClusterIP # NodePort
  selector:
    app: kuboard
  ports:
    - protocol: TCP
      port: 10081
      targetPort: 10081
      # nodePort: 31081 # 可选,不指定会自动分配
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: kuboard-web
  namespace: kuboard
spec:
  ingressClassName: nginx
  rules:
    - host: kuboard.corpcloud.cn
      http:
        paths:
          - backend:
              service:
                name: kuboard-web
                port:
                  number: 80
            path: /
            pathType: Prefix

EOF

sed -i 's#eipwork/kuboard:v3#swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard:v3#g' kuboard-all.yaml

kubectl apply -f kuboard-all.yaml

部署第二套 Kuboard

mkdir -p /opt/platform-tools/k8s-yaml/kuboard-v3
cd /opt/platform-tools/k8s-yaml/kuboard-v3

cp kuboard-all.yaml kuboard-02-all.yaml

sed -i \
  -e '/^kind: Deployment$/,/^---$/ s/^  name: kuboard$/  name: kuboard-02/' \
  -e 's/^  name: kuboard-web$/  name: kuboard-web-02/' \
  -e 's/^  name: kuboard-agent$/  name: kuboard-agent-02/' \
  -e 's/app: kuboard$/app: kuboard-02/g' \
  -e 's/host: kuboard\.corpcloud\.cn/host: kuboard-02.corpcloud.cn/' \
  -e '/kind: Ingress/,/^---$/ s/name: kuboard-web$/name: kuboard-web-02/' \
  -e 's/name: kuboard-data/name: kuboard-02-data/g' \
  -e 's|kuboard-v3/data|kuboard-v3/data-02|' \
  kuboard-02-all.yaml

kubectl apply -f kuboard-02-all.yaml

添加域名解析

浏览器访问:http://kuboard.corpcloud.cn admin/Kuboard123

添加 K8s 集群

1)添加 K8s 集群

2)填写信息

3)选择身份用户

4)集群概要信息

5)将所有的 K8s 集群都纳管上

http://kuboard-02.corpcloud.cn/ admin/Kuboard123

堡垒机建设

堡垒机平台是本项目企业中用于管理主机等资产的重要工具,堡垒机主要实现**“事前授权、事中监控、事后审计”**的全流程安全管控。

本方案将通过开源 JumpServer 来完成本项目的堡垒机平台建设。

部署 PostgreSQL、Redis

JumpServer 通过 Helm 部署时,需要自行准备 PostgreSQL 和 Redis 数据库。
部署 PostgreSQL 和 Redis

PSQL 数据库实例中创建 jumpserver 库

docker exec -it postgres16 bash
CREATE DATABASE jumpserver;

# 3. (可选)创建专用用户并授权
CREATE USER jumpserver WITH PASSWORD '当前密码';
GRANT ALL PRIVILEGES ON DATABASE jumpserver TO jumpserver;

部署 JumpServer

本次本项目部署 jumpserver-v4.10.16 版本,是目前最新的版本。

1)获取 chart 包

cd /opt/platform-tools/helm-chart
helm repo add jumpserver https://jumpserver.github.io/helm-charts
helm repo list
helm search repo jumpserver/jumpserver --versions
helm pull jumpserver/jumpserver --version v4.10.16
# 目前最新版本
tar -xf jumpserver-v4.10.16.tgz
# 备份values.yaml文件
cp jumpserver/values.yaml jumpserver/values.yaml.template

# 默认镜像(可选)
jumpserver/core:v4.10.16-ce
jumpserver/chen:v4.10.16-ce
jumpserver/koko:v4.10.16-ce
jumpserver/lion:v4.10.16-ce
jumpserver/web:v4.10.16-ce
helm 启动参数方式安装

此处通过helm --set参数来进行赋值安装,修改值宜写入 values.yaml 文件。

1)Helm 安装 JumpServer

参数说明:

  1. core 服务配置
  • core.config.secretKey:用于加密和解密敏感数据,JumpServer 使用它来加密和解密存储在数据库中的密码、Token、Access Key 等敏感信息。
  • core.config.bootstrapToken:用于其他组件(如 koko, lion, chen, magnus 等)向核心组件 (core) 进行注册和身份验证。
# 秘钥,用于:core.config.secretKey
cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 50
# 引导令牌,用于:core.config.bootstrapToken
cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24
  1. koko 服务暴露 NodePort 端口,用于终端连接堡垒机。--set koko.service.type=NodePort;--set koko.service.ssh.port=30222
1. 安装jumpserver
kubectl create ns jumpserver

helm install jumpserver jumpserver \
  -n jumpserver \
  --set global.imageRegistry=registry.corpcloud.cn \
  --set global.imageOwner=demo \
  --set global.storageClass=k8s-nfs-storage \
  --set ingress.hosts[0]="jumpserver.corpcloud.cn" \
  --set externalDatabase.host=192.168.101.125 \
  --set externalDatabase.port=5432 \
  --set externalDatabase.password="psql.corpcloud.cn" \
  --set externalRedis.host=192.168.101.125 \
  --set externalRedis.port=6379 \
  --set externalRedis.password="redis.corpcloud.cn" \
  --set core.config.secretKey="6RG8gnsV64WRSiaHbtiUSXtvdrlRYGQ8p47EqdVL8lPEw90cJs" \
  --set core.config.bootstrapToken="AvuJkN4GcKAfkZGmitnimstL" \
  --set koko.service.type=NodePort \
  --set koko.service.ssh.port=30222

2. 删除jumpserver
helm uninstall jumpserver -n jumpserver
kubectl delete pvc -n jumpserver --all
kubectl get pvc -n jumpserver

2)安装完成后,浏览器访问 http://jumpserver.corpcloud.cn

修改默认账号密码:admin/jumpserver.corpcloud.cn

本地配置192.168.101.106 jumpser.corpcloud.cn 的 Hosts 解析后,就可以在浏览器访问本项目的 JumpServer 服务了。

12345678

管理 JumpServer

添加资产

资产目录结构如下,可以鼠标右击DEFALUT节点分支创建目录结构

DEFALUT节点名称无法修改

1)添加资产

2)创建资产

命名规范见图

基本设置:节点选择自己上面对应创建的目录结构

账号:首次创建没有账号,本项目可新增一个模板

创建账号模板

3)授予 admin 管理用户,所有节点与资产

连接资产

本项目一般使用 JumpServer 提供的 Web 终端、连接工具终端,来连接资产。

1)Web 终端

访问要连接的对象即可连接

2)连接工具终端

终端工具连接是 koko 服务提供功能,本项目在安装时是将 koko 服务打开了 NodePort 方式的它的端口号为 30222。本项目输入 JumpServer 地址+30222 端口,输入创建的账号即可连接。

此处使用管理员用户:jumpserver.corpcloud.cn admin 30222

连接后显示使用说明(首次连接可能为英文)

输入 p 查看授权过的资产列表

输入对应的 ID 或者 IP 地址即可连接

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!