云原生多地多中心建设
多地多中心基础环境建设
技术选择与版本
| 组件 | 版本 |
|---|---|
| 操作系统 | Rocky Linux 10.2 Minimal |
| Kubernetes | 1.31.9(Sealos) |
| Helm | v4.0.1(Sealos 镜像) |
| Calico | v3.28.1 |
| nerdctl | 2.3.3 |
| NFS Provisioner | chart 4.0.18 / image v4.0.2 |
| ingress-nginx | v1.15.1 |
| MySQL | 8.4.10 |
| PowerDNS | 5.1.x |
目录
01 · Rocky Linux 系统安装与初始化
本项目统一采用 Rocky Linux 作为基础操作系统,替代 CentOS,并保持与 CentOS 相近的操作方式。
所有节点统一使用 Rocky Linux 10.2 Minimal 镜像,后续版本按版本基线统一升级。
系统环境 Rocky Linux
介绍
Rocky Linux 是 RHEL(红帽企业 Linux)1:1 二进制兼容的开源免费发行版,由 CentOS 项目创始人** Gregory Kurtzer** 在 2020 年创立;
起因:红帽宣布停止 CentOS 稳定版(CentOS8/9 转为滚动流 CentOS Stream),社区为替代传统稳定 CentOS 诞生 Rocky Linux,完全免费、无订阅费、兼容 RHEL 官方软件。
系统安装
Rocky Linux 10.2 ISO 镜像文件下载:https://rockylinux.org/zh-CN/download,采用 Minimal ISO 版本,见图:

Rocky Linux 三种 ISO 镜像区别(DVD / Minimal / Boot)
1)Minimal ISO(最小化镜像|生产服务器首选)
体积小,仅几百 MB;系统基础最小安装包内置在镜像里。
安装特点:断网也能完成最小化系统安装,只有内核 + 基础命令 + 系统组件,无桌面、无多余软件
2)DVD ISO(完整版 DVD 镜像)
体积最大(8G 左右),内置 BaseOS+AppStream 全套 rpm 软件源
安装特点:完全离线安装,安装时可以自选桌面环境 (GNOME)、开发包、数据库、工具集,不需要联网下载包。装好系统后,本机光盘可当本地 yum 源。
3)Boot ISO(网络引导镜像|网装专用)
体积最小(几十-几百 MB),只有引导程序,镜像里没有任何系统安装包。
安装特点:开机引导后,必须配置网络 + 填写在线源地址(官方 / 国内阿里 / 清华源),全程从网络下载系统包
服务器配置
CPU:安装 K8s 最少 2 vCPUs
内存:推荐 4G - 8G
硬盘:推荐 50G - 100G

安装过程
1)选择第一项安装
四个选项说明,按需选择:
- Install Rocky Linux 10.2(首选正常安装) 常规安装选择此项,回车启动安装向导。
- Test this media & install Rocky Linux 10.2 先校验安装镜像完整性(检测 U 盘 / ISO 文件是否损坏),校验通过后再安装;U 盘刻录不稳、怀疑镜像损坏时用。
- Install Rocky Linux 10.2 in FIPS mode 联邦安全加密规范模式,政企合规场景专用,普通 / 服务器装机不用。
- Troubleshooting 故障排查菜单(救援模式、内存测试等),系统出问题修复才进,新装系统不用。

2)本方案选择英文
语言选项说明:
- 安装介质自动识别本地硬件时区 / 键盘区域 当前虚拟机 / 宿主机系统是中文环境、BIOS 时区中国,Rocky 安装程序自动探测系统区域,默认优选中文,所以简体中文置顶。
- Rocky Linux 10.2 本地化优化 新版本 RHEL 系安装器 anaconda 会根据硬件所在地区、主板时区自动匹配首选语言,国内环境默认中文优先。

3)自定义分区



/根分区,空间给大一些


4)开启 root 用户登录


5)开始安装

6)安装完成重启

配置网卡静态 IP
安装阶段默认通过 DHCP 获取地址,用于确认网段内未占用的 IP;安装完成后改为静态 IP。
若没有这种担心,完全可以在安装页面配置静态 IP。

1) 方式一(生产推荐,一条命令)
通过nmcli命令行,配置网卡静态 IP
# 替换【网卡名、IP、网关、DNS】
nmcli connection modify "ens34" \
ipv4.method manual \
ipv4.addresses 192.168.101.126/24 \
ipv4.gateway 192.168.101.1 \
ipv4.dns "223.5.5.5,8.8.8.8"
# 重载网卡生效
nmcli con down ens34 && nmcli con up ens34
2)方式二
修改网卡配置文件
$ vi /etc/NetworkManager/system-connections/ens34.nmconnection
...
...
[ipv4]s
address1=192.168.101.107/24
dns=223.5.5.5;8.8.8.8;
gateway=192.168.101.1
method=manual
...
...


重启网卡生效
# 1. 让 NM 重新读取所有配置文件(必须执行,否则不生效)
nmcli connection reload
# 2. 关掉 ens34 连接,再重新激活
nmcli connection down ens34
nmcli connection up ens34
# 3. 查看结果
ip a
nmcli connection show ens34
配置 yum 源
Rocky Linux 使用 dnf 作为包管理器;为兼容 CentOS 习惯,系统保留了 yum 别名。统一使用 dnf。

源配置目录为 /etc/yum.repos.d/。

配置 yum 源,此处提供两种源:中科大、阿里云
配置 Rocky 基础源
1)中科大
中科大 Rocky Linux 系统 Yum 源地址:https://mirrors.ustc.edu.cn/rocky/
# 中科大
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
-e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.ustc.edu.cn/rocky|g' \
-i.bak \
/etc/yum.repos.d/rocky-extras.repo \
/etc/yum.repos.d/rocky.repo
2)阿里云
说明:阿里云 Rocky Linux 镜像站可能不可用。
阿里云 Rocky Linux 系统 Yum 源地址:https://developer.aliyun.com/mirror/rockylinux
阿里的镜像站的配置方法命令中的Rocky-.repo**需要替换为rocky.repo
# 阿里
sed -e 's|^mirrorlist=|#mirrorlist=|g' \
-e 's|^#baseurl=http://dl.rockylinux.org/$contentdir|baseurl=https://mirrors.aliyun.com/rockylinux|g' \
-i.bak \
/etc/yum.repos.d/rocky*.repo
生成缓存
# 清理缓存
dnf clean all
# 生成缓存
dnf makecache
# 安装服务测试
dnf install -y net-tools vim wget tar
# 安装iptables,k8s安装时依赖
dnf install -y iptables iptables-nft iproute-tc conntrack-tools socat net-tools
安装 Docker
Jenkins 构建 K8s 集群必须安装 Docker,其他集群不需要安装。
cat > /etc/yum.repos.d/docker-ce.repo << EOF
[docker-ce-stable]
name=Docker CE Stable - x86_64
baseurl=https://mirrors.ustc.edu.cn/docker-ce/linux/centos/10/x86_64/stable/
enabled=1
gpgcheck=1
gpgkey=https://mirrors.ustc.edu.cn/docker-ce/linux/centos/gpg
EOF
dnf install -y docker-ce
systemctl start docker && systemctl enable docker
# K8s 集群里面安装 Docker 时才重启 containerd、kubelet
# 安装 Docker 后重启 containerd、kubelet
systemctl restart containerd
systemctl restart kubelet
安装 docker 后 containerd 报错,unsupported shim version (3)
由于在 containerd 运行时的 K8s 集群中安装了 docker-ce 导致 containerd 的版本升级了,才出现这个错误
Failed to create pod sandbox: rpc error: code = Unimplemented desc = failed to create containerd task: failed to start shim: start failed: unsupported shim version (3): not implemented

重启,containerd 与 kubelet 解决
systemctl restart containerd
systemctl restart kubelet
02 · 基础架构图与规范
多地多中心基础架构图

该图描述 3 个数据中心内基础集群与服务的规划关系,不包含具体业务调用链路;后续建设在此基础上展开。
基础架构按 3 个数据中心规划,后续可水平扩展。架构说明如下:
1)基础设施
图中有 南京(nj)、成都(cd)、北京(bj) 3 个机房。机房存放了大量服务器,所有的集群和服务都在服务器中完成。
每个机房中都存在 3 种基础资源,物理机、虚拟机、K8s 集群,K8s 集群可部署在物理机或虚拟机上;生产环境宜采用物理机部署,以获得更好的性能。
2)K8s 集群与服务
K8s 集群按环境划分为平台(plat)、开发(dev)、测试(test)和生产(prod),各环境独立部署对应服务。
- plat 环境:用于部署所有本项目运维平台管理相关组件服务,比如:Kuboard、JumpServer、Jenkins、ArgoCD 等等。除非必须部署到其他环境集群当中,那么都部署到该集群,比如:ELK、Skywalking、Harbor、Nacos。
- dev、test、prod 环境:分别用于部署 dev、test、prod 的系统服务。
3)虚拟机资源
这部分用于为运行在 K8s 集群中的服务或集群本身,而提供的部署,比如:PowerDNS、MySQL、Redis。
4)网络环境
按照物理条件来说,所有的机房都是可以和互联网打通并通信的。但是本项目实际上需要进行网络限制,首先所有的物理机或虚拟机本身都默认不运行和互联网通信,全部使用内网。需要和互联网通信需求时,再申请开通网络权限。
机房之间的网络通讯使用的是运营商专线网络,带宽。专线绝大多数是上下行对等;家用宽带是非对称(下行大、上行很小)。
一般绝大多数中小互联网公司,专线带宽首选 100M 对称专线,随着业务量增大带宽也可以随之调整为 200M、500M。
大型 IDC、数据中心互联 DCI, 10G、40G、100G,一般大厂、政企核心机房使用。
数据中心互联 DCI,可以实现:跨地域用户接入、异地备份和容灾。


本项目 K8s 集群中,dev 环境所有节点都不允许上互联网。test、prod 也只有 网关节点 才允许开通上互联网,本项目的服务系统也就可以通过网关节点来和互联网通信。
此处的网关节点,就是本项目的 Ingress 节点
K8s 集群,只有 test、prod 环境之间是可以互相访问的,dev 环境是单独隔离的环境,完全内网环境。同样的如果 dev 环境需要某些节点可以互通,网络层可以打通,申请权限即可。
内部用户,可以有两台 Windows 主机,一台可以访问互联网,一台是全内网便于访问内部系统环境。
命名规范
命名规范,包含:数据中心命名、环境命名、K8s 集群命名、业务/中间件命名 规范
数据中心命名规范
1)地域 Region
地理:跨城市、跨百公里以上,一般以市为单位,划分一个地域。比如华东上海、西南成都、华北北京
基础设施:完全独立电网、独立骨干光缆、独立供水消防、独立运营商线路
延迟:跨 Region 访问延迟几十 ms~ 上百 ms
| 地域(Region) | ** 简称** |
|---|---|
| 南京 | nj |
| 成都 | cd |
| 北京 | bj |
规范语法:<地域简称>-DC<序号>,例如:CD-DC01。
2)可用区 AZ(同地域内)
地理:一般在同一座城市,一般是市以下的区县,相距几公里~几十公里;
基础设施:每栋机房市电、UPS、柴油发电机、空调、核心交换机、外部光纤全部物理隔离; 一栋 AZ 断电 / 失火 / 光缆被挖断,其他 AZ 不受影响;
网络:同城低延迟,AZ 之间光纤直连,延迟 1~3ms
| 地域(Region) | ** 可用区(AZ)** | ** AZ 简称** | ** 具体区县** | ** 区县简称** |
|---|---|---|---|---|
| 南京 | 可用区 A | az01 | 江宁区 | jn |
| 成都 | 可用区 A | az01 | 高新区 | gx |
| 成都 | 可用区 B | az02 | 双流区 | sl |
| 北京 | 可用区 A | az01 | 海淀区 | hd |
规范语法:<区县简称>-<AZ简称>,例如:gx-az01。
环境命名介绍
| 具体环境 | ** 简称** |
|---|---|
| 开发环境 | dev |
| 测试/联调环境 | test |
| 技术验证环境 | poc |
| 压测环境 | pet |
| 体验环境 | uat |
| 预生产环境 | pre |
| 生产环境 | prod |
K8s 集群命名规范
1)K8s 集群类别
平台服务(Platform 简称,plat)
业务服务(Business 简称,biz)
2)K8s 集群是否公开
私有:priv (Private 的缩写)
公开:pub (Public 的缩写)
3)K8s 集群命名规范
规范语法:南京-秦淮区-可用区-K8s集群类别-是否公开-环境-01集群,如:nj-jn-az01-biz-priv-dev-01
规范语法:南京-秦淮区-可用区-K8s集群类别-是否公开-环境-01集群,如:nj-jn-az01-plat-priv-prod-01
规范语法:成都-高新区-可用区-K8s集群类别-是否公开-环境-01集群,如:cd-gx-az01-biz-priv-test-01
规范语法:北京-海淀区-可用区-K8s集群类别-是否公开-环境-01集群,如:bj-hd-az01-biz-priv-prod-01
K8s 资源命名长度限制:
项目/业务/中间件域名命名规范
生产域名不包含环境名
用户端
1)Web 站点地址(暴露公网)
规范语法:https://<项目名>-<环境>.corpcloud.cn
例如:
https://demo-dev.corpcloud.cn(开发环境)
https://demo-h5-dev.corpcloud.cn(开发环境)
https://demo-test.corpcloud.cn(测试环境)
https://demo.corpcloud.cn(生产环境)生产域名的环境名不用写
2)API 接口地址(暴露公网)
规范语法:https://<项目名>-gw-<环境>.corpcloud.cn
例如:
规范语法:https://<项目名>-<环境>.corpcloud.cn/api
例如:
3)其他依赖接口,如鉴权接口地址(暴露公网)
规范语法:https://<鉴权项目名>-gw-<环境>.corpcloud.cn/<需要鉴权的项目名>
例:


管理端
1)Web 站点地址(内部访问)
规范语法:http://<项目名>-mg-<环境>.corpcloud.cn
例:
2)API 接口地址(内部访问)
规范语法:http://<项目名>-gw-mg-<环境>.corpcloud.cn/<模块名>
例:
3)其他依赖接口,如鉴权接口地址(内部访问)
规范语法:http://<鉴权项目名>-gw-mg-<环境>.corpcloud.cn/<需要鉴权的项目名>
例:
中间件
1)不夸地域中间件
中间件:MySQL、Redis、MongoDB、RabbitMQ
规范语法:http://<中间件名>-<public/某项目/某类项目>-<环境名>.corpcloud.cn(内部访问)
public/某项目/某类项目 区别:
- public:所有项目都可以使用
- 某项目:某个项目使用
- 某类项目:某一类别项目可以使用
public 公共中间件,如:
- MySQL:mysql-public-dev.corpcloud.cn、mysq-publicl-test.corpcloud.cn、mysql-public.corpcloud.cn
- Redis:redis-public-dev.corpcloud.cn、redis-public-test.corpcloud.cn、redis-public.corpcloud.cn
某项目或某类项目 独享中间件,如:
- 某项目(demo):mysql-demo-dev.corpcloud.cn、mysq-demo-test.corpcloud.cn、mysql-demo.corpcloud.cn
- 某类项目(aliyun):redis-aliyun-dev.corpcloud.cn、redis-aliyun-test.corpcloud.cn、redis-aliyun.corpcloud.cn
2)地域划分中间件-基础组件
cd-harbor.corpcloud.cn
nj-harbor.corpcloud.cn
bj-harbor.corpcloud.cn
03 · K8s 集群建设及服务相关概要
K8s 集群建设
安装 K8s 集群
由于本项目云原生项目都是在 K8s 集群环境基础之上来完成的,所以本项目需要安装所有环境的 K8s 集群。
本阶段的 K8s 集群部署不适用于生产环境,生产环境 K8s 集群在后续阶段实施。
本方案将会使用 Sealos 工具一键安装 K8s 集群。Sealos 工具的具体细节,请查看下方文档:
https://space.bilibili.com/1803388873?spm_id_from=333.337.0.0
1)修改主机名、配置 hosts(所有节点执行)
1. 修改主机名
# platform
hostnamectl set-hostname k8s-master01-192-168-101-106
hostnamectl set-hostname k8s-node01-192-168-101-114
hostnamectl set-hostname k8s-node02-192-168-101-115
# dev
hostnamectl set-hostname k8s-master01-192-168-101-107
hostnamectl set-hostname k8s-node01_192-168-101-109
# test
hostnamectl set-hostname k8s-master01-192-168-101-110
hostnamectl set-hostname k8s-node01-192-168-101-111
# prod
hostnamectl set-hostname k8s-master01-192-168-101-112
hostnamectl set-hostname k8s-node01-192-168-101-113
2. 配置hosts(必须配),例下(所有集群都配置,自身的集群hosts即可)
$ vi /etc/hosts
192.168.101.107 k8s-master01-192-168-101-107
192.168.101.109 k8s-node01-192-168-101-109
2)下载最新 Sealos 版本(仅在master节点执行)
官方文档参考:https://sealos.run/docs/k8s/quick-start/install-cli
# 下载wget、tar
dnf install -y net-tools wget tar vim
# 获取Sealos版本号
VERSION=`curl -s https://api.github.com/repos/labring/sealos/releases/latest | grep -oE '"tag_name": "[^"]+"' | head -n1 | cut -d'"' -f4`
# 配置GitHub代理
export PROXY_PREFIX=https://ghfast.top
# 下载Sealos二进制命令行包
wget ${PROXY_PREFIX}/https://github.com/labring/sealos/releases/download/${VERSION}/sealos_${VERSION#v}_linux_amd64.tar.gz \
&& tar zxvf sealos_${VERSION#v}_linux_amd64.tar.gz sealos && chmod +x sealos && mv sealos /usr/bin
3)配置时间同步
Rocky Linux 10.2 系统默认安装并配置了时间同步服务 chrony,所以本项目不用再安装和配置 chrony 服务了。见图:
chronyc sources

若的系统没有配置时间同步,可参考下方配置。(所有节点执行)
#方式1:安装配置chrony时间同步
IP=`ip addr | grep 'state UP' -A2 | grep inet | egrep -v '(127.0.0.1|inet6|docker)' | awk '{print $2}' | tr -d "addr:" | head -n 1 | cut -d / -f1`
yum install -y chrony
sed -i '3,6s/^/#/g' /etc/chrony.conf
sed -i "7s|^|server ntp1.aliyun.com iburst|g" /etc/chrony.conf
echo"allow all" >> /etc/chrony.conf
echo"local stratum 10" >> /etc/chrony.conf
systemctl restart chronyd
systemctl enable chronyd
timedatectl set-ntp true
sleep 5
systemctl restart chronyd
chronyc sources
#方式2:时间同步 说明:系统重启后恢复成原时间
yum install ntpdate -y
ntpdate ntp1.aliyun.com
4)安装 iptables(所有节点执行)
Rocky Linux 8/9/10 最小化系统安装时,默认不带 iptables,需要本项目手动安装
dnf install -y iptables iptables-nft iproute-tc conntrack-tools socat net-tools

5)sealos 命令一键安装 K8s 集群(仅在master节点执行)
官方文档参考:https://sealos.run/docs/k8s/quick-start/deploy-kubernetes
sealos run \
registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.31.9 \
registry.cn-shanghai.aliyuncs.com/labring/helm:v4.0.1 \
registry.cn-shanghai.aliyuncs.com/labring/calico:v3.28.1 \
--masters 192.168.101.106 \
--nodes 192.168.101.107,192.168.101.108 \
-p 000000 [your-ssh-passwd]
sealos run \
registry.cn-shanghai.aliyuncs.com/labring/kubernetes:v1.31.9 \
registry.cn-shanghai.aliyuncs.com/labring/helm:v4.0.1 \
registry.cn-shanghai.aliyuncs.com/labring/calico:v3.28.1 \
--masters 192.168.101.110 \
--nodes 192.168.101.124 \
-p 000000 [your-ssh-passwd]

执行 Sealos 安装 K8s 集群时报错,就再执行一次 Sealos 安装命令

安装 nerdctl
Containerd 注册表主机配置 Registry Host:https://mp.weixin.qq.com/s/1E3DGWZ5ECOdrUZ0s00WzA
K8s 容器运行时,变为 Containerd 后存在哪些疑惑?:访问阅读文章
1)下载 nerdctl
GitHub:https://github.com/containerd/nerdctl
GitHub下载不了的话,提供下载包:nerdctl-2.3.3-linux-amd64.tar.gz

2)安装 nerdctl
mkdir -p /opt/soft
mv nerdctl-2.3.3-linux-amd64.tar.gz /opt/soft
cd /opt/soft
tar -xf nerdctl-2.3.3-linux-amd64.tar.gz nerdctl && mv nerdctl /usr/local/bin/
3)配置 nerdctl
mkdir /etc/nerdctl/
cd /etc/nerdctl/
cat > nerdctl.toml << EOF
debug = false
debug_full = false
address = "unix:///var/run/containerd/containerd.sock"
namespace = "k8s.io"
# snapshotter = "stargz"
cgroup_manager = "systemd"
# host_dir = ["/etc/containerd/certs.d","/etc/nerdctl/certs.d"]
insecure_registry = false
EOF
配置镜像加速(可选)
1)解决国内拉取 Docker 镜像问题,推荐阅读:https://t.zsxq.com/Noc2c
2)配置 Docker 加速器
配置 Docker 镜像加速,速度一般
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json << EOF
{
"registry-mirrors": [
"https://docker<保密地址>",
"https://docker<保密地址>"
]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
阿里云 ECS 配置 Dokcer 加速器,速度非常快(仅限阿里云 ECS 服务器)
sudo mkdir -p /etc/docker
sudo tee /etc/docker/daemon.json << EOF
{
"registry-mirrors": ["https://ap88rnwz.mirror.aliyuncs.com"]
}
EOF
sudo systemctl daemon-reload
sudo systemctl restart docker
3)配置 Containerd 镜像加速器
可以直接拉取 docker.io 镜像,下载速度会比较慢,100-500 KiB/s 左右
mkdir -p /etc/containerd/certs.d/docker.io
cat > /etc/containerd/certs.d/docker.io/hosts.toml << EOF
server = "https://docker.io"
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker.1panel.live"]
capabilities = ["pull", "resolve"]
[host."https://registry.cn-hangzhou.aliyuncs.com"]
capabilities = ["pull", "resolve"]
[host."https://docker.mirrors.ustc.edu.cn"]
capabilities = ["pull", "resolve"]
[host."http://hub-mirror.c.163.com"]
capabilities = ["pull", "resolve"]
[host."https://hub.<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker.<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://docker<保密地址>"]
capabilities = ["pull", "resolve"]
[host."https://dockerpull.cn"]
capabilities = ["pull", "resolve"]
EOF
# 如果不生效,重启再试
systemctl restart containerd
安装 NFS 制备器
NFS 制备器可以用于创建 StorageClass(存储类),有了它就可以实现动态创建 PV,用户服务创建 PVC 就可以自动与 PV 绑定。创建存储类需要一个存储提供商,本项目此处使用 NFS 来作为存储类的供应商。
简图:

自动创建 PV 的原理是,nfs-subdir-external-provisioner这个 Controller 监听到 PVC 和某个存储类匹配后(通过 storageClassName 字段判断),通过 Kubernetes API 动态创建 PV,并在 NFS 服务器上创建对应子目录,最终完成PVC => PV => NFS的自动关联。

原理:自动创建 PV 的原理是,nfs-subdir-external-provisioner这个 Controller 监听到 PVC 和某个存储类匹配后(通过 storageClassName 字段判断),通过 Kubernetes API 动态创建 PV,并在 NFS 服务器上创建对应子目录,最终完成 PVC => PV => NFS 的自动关联。
安装 NFS(node节点执行)
本项目通常使用 Node 节点作为 NFS 存储节点,所有节点均需安装 NFS 客户端。
1)安装 NFS
安装启动 NFS
dnf install -y nfs-utils rpcbind
systemctl start nfs-server rpcbind && systemctl enable nfs-server rpcbind && systemctl status nfs-server rpcbind
# 客户端节点不需要rpcbind服务
systemctl disable rpcbind && systemctl stop rpcbind
# 安装nfs客户端(所有节点都要安装)
yum install -y nfs-utils
systemctl enable rpcbind --now

创建共享目录
mkdir -p /nfs/k8s-storage
cat > /etc/exports << EOF
/nfs/k8s-storage *(rw,no_root_squash,insecure,sync)
EOF
exportfs -rv
systemctl restart rpcbind nfs-server
检查
# 查看NFS的运行状态
nfsstat
# 显示主机与其共享目录
showmount -e
showmount 命令
- -a:显示已经于客户端连接上的目录信息
- -e:IP或者hostname 显示此IP地址分享出来的目录

挂载测试(master节点执行)
挂载后可以创建文件或目录来验证结果
# 启动客户端的 nfs
dnf install -y nfs-utils
systemctl start nfs-server && systemctl enable nfs-server && systemctl status nfs-server
# 挂载测试
mount -t nfs k8s-node01-192-168-101-109:/nfs/k8s-storage /mnt
# 测试完成后取消挂载
umount /mnt
mount -t nfs k8s-master01-192-168-101-106:/nfs/k8s-storage /mnt

安装 NFS 存储制备器
存储类参考:存储类
存储制备器,参考文档:https://kubernetes.io/zh-cn/docs/concepts/storage/storage-classes


1)下载地址:https://github.com/kubernetes-sigs/nfs-subdir-external-provisioner

2)安装 nfs-subdir-external-provisioner
镜像下载
# 默认使用的镜像
registry.k8s.io/sig-storage/nfs-subdir-external-provisioner:v4.0.2
# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/nfs-subdir-external-provisioner:v4.0.2
ctr -n k8s.io images pull registry.corpcloud.cn/demo/nfs-subdir-external-provisioner:v4.0.2
helm 安装 NFS 存储制备器
参数需按环境修改,例如:
storageClass.namenfs.servernfs.path
# 解压缩/创建名称空间
mkdir -p /opt/platform-tools/helm-chart
mv nfs-subdir-external-provisioner-4.0.18.tgz /opt/platform-tools/helm-chart
cd /opt/platform-tools/helm-chart
tar -xf nfs-subdir-external-provisioner-4.0.18.tgz
kubectl create ns provisioner
# 安装命令
nfs_server="k8s-master01-192-168-101-120"
helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner \
--namespace provisioner \
--set storageClass.name=k8s-nfs-storage \
--set nfs.server=${nfs_server} \
--set nfs.path=/nfs/k8s-storage \
--set storageClass.defaultClass=true \
--set image.repository=registry.corpcloud.cn/demo/nfs-subdir-external-provisioner \
--set image.tag=v4.0.2 \
--set storageClass.archiveOnDelete=true # 这个看是否开启,删除pvc时,自动删除数据
报错处理:nfs-subdir-external-provisioner 启动失败,需要在对应运行节点安装 nfs 客户端
# 安装nfs客户端(所有节点都要安装)
yum install -y nfs-utils
systemctl enable rpcbind --now

其他:更新/删除(可选)
# 更新命令
helm upgrade nfs-subdir-external-provisioner nfs-subdir-external-provisioner \
--namespace provisioner \
--set storageClass.name=k8s-nfs-storage \
--set nfs.server=k8s-master01-192-168-101-106 \
--set nfs.path=/nfs/k8s-storage \
--set storageClass.defaultClass=true \
--set image.repository=registry.corpcloud.cn/demo/nfs-subdir-external-provisioner \
--set image.tag=v4.0.2 \
--set storageClass.archiveOnDelete=true
# 删除
helm delete nfs-subdir-external-provisioner -n provisioner
# --all 删除该类型全部资源
kubectl delete pvc -n provisioner --all
安装 Ingress
Ingress 参考资料:K8s 官方文档访问跳转
Ingress 控制器官方文档:https://kubernetes.github.io/ingress-nginx/deploy/
GitHub Ingress 安装文档:https://github.com/kubernetes/ingress-nginx/tree/main/charts/ingress-nginx
Ingress Nginx 的 GitHub 仓库:https://github.com/kubernetes/ingress-nginx
参考博客 helm 部署 ingress-controller:https://www.cnblogs.com/syushin/p/15271304.html
GitHub 地址有记录 ingress-nginx 对应支持的 K8s 版本要求。目前最新的版本是 ingress-v1.15.1,对应支持的 K8s 集群版本见图,本项目本套项目采用的 K8s 版本是 1.31.9,所以可以使用 ingress-v1.15.1 版本。

添加与下载 helm chart 包
mkdir -p /opt/platform-tools/helm-chart
cd /opt/platform-tools/helm-chart
helm repo add ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
helm pull ingress-nginx/ingress-nginx
tar -xf ingress-nginx-4.15.1.tgz
# 更新之后可以查看ingress-nginx的多个版本(可选)
helm repo update
helm search repo ingress-nginx/ingress-nginx --versions
helm search repo ingress-nginx
helm pull ingress-nginx/ingress-nginx --version 4.9.1
安装 Ingress
# 默认镜像
registry.k8s.io/ingress-nginx/controller:v1.15.1
registry.k8s.io/ingress-nginx/kube-webhook-certgen:v1.6.9
# 现在镜像
registry.corpcloud.cn/demo/controller:v1.15.1
registry.corpcloud.cn/demo/kube-webhook-certgen:v1.6.9
kubectl create ns ingress-nginx
# 安装:下列镜像使用的docker hub仓库镜像
helm install ingress-nginx ingress-nginx \
--namespace ingress-nginx \
--set controller.hostNetwork=true \
--set controller.dnsPolicy=ClusterFirstWithHostNet \
--set controller.ingressClassResource.default=true \
--set controller.allowSnippetAnnotations=true \
--set controller.image.registry=registry.corpcloud.cn \
--set controller.image.image=demo/controller \
--set controller.image.tag=v1.15.1 \
--set controller.image.digest="" \
--set controller.admissionWebhooks.patch.image.registry=registry.corpcloud.cn \
--set controller.admissionWebhooks.patch.image.image=demo/kube-webhook-certgen \
--set controller.admissionWebhooks.patch.image.tag=v1.6.9 \
--set controller.admissionWebhooks.patch.image.digest=""
其他:更新/删除(可选)
# 有新的参数添加或者修改时,可执行helm upgrade命令更新
helm upgrade ingress-nginx ingress-nginx \
--namespace ingress-nginx \
--set controller.hostNetwork=true \
--set controller.dnsPolicy=ClusterFirstWithHostNet \
--set controller.ingressClassResource.default=true \
--set controller.allowSnippetAnnotations=true \
--set controller.image.registry=image.9n1m.net \
--set controller.image.image=giantswarm/ingress-nginx-controller \
--set controller.image.digest=sha256:0939639a1f338a9eaaa490fd38b4a7881e47a7fd1a473baf8749ce15952b55b8 \
--set controller.admissionWebhooks.patch.image.registry=image.9n1m.net \
--set controller.admissionWebhooks.patch.image.image=dyrnq/kube-webhook-certgen \
--set controller.admissionWebhooks.patch.image.digest=sha256:17c938714b4ca5a5a3a875565ecc8e56b94ebc8c132ba24c08dd1ef3c92bc39e
# 卸载
helm delete ingress-nginx -n ingress-nginx
# --all 删除该类型全部资源
kubectl delete pvc -n ingress-nginx --all
# 参考解析
controller.allowSnippetAnnotations=true #开启ingress的nginx.ingress.kubernetes.io/configuration-snippet注解
Ingress 域名如何解析
K8s 集群中部署 Ingress 之后,服务就可以通过配置 Ingress 来实现域名访问服务了。本项目所有的域名解析都将解析到对应 K8s 集群下的 ingress-nginx-controller 服务所运行的节点 IP。
后续所有配置 Ingress 和域名解析都采用这种方式,后面不再介绍如何解析。
1)查看 ingress-nginx-controller 所运行在哪个节点

2)所有运行在该集群上的 Ingress 所配置的域名都解析到该节点 IP。
jenkins.corpcloud.cn

云原生服务安装方式介绍
云原生服务的安装,主要是以下几种方式,都是在工作中频繁使用的安装方式。各个方式的优缺点如下:
- docker:适用于 dev、test 环境,部署简单、启动快。不宜生产环境使用,不具备高可用性(单节点),扩展不方便。
- docker compose:适用于 dev、test 环境,可快速启动服务。不宜生产环境使用,不具备高可用性(单节点),扩展不方便。
- helm:可以用于 dev、test、prod 环境,可以灵活配置,同时具备高可用性(K8s集群),扩展方便(可灵活修改 yaml)。
- operator:可以用于 dev、test、prod 环境,具备高可用性(K8s集群),扩展方便。但灵活性不足,需要修改代码。
生成私有 SSL 证书
SSL 证书是用于配置 HTTPS 协议的条件。实验环境可使用 openssl 生成自签证书,企业中宜使用阿里云上的证书或其他颁发证书平台,确保签发证书可被信任;免费或付费证书均可。
后续内容中所有需要证书的地方,都可以执行下列步骤生成。
参考文档:配置 Harbor 的 HTTPS 访问
1)前提条件
# 需要生成证书的域名(自定义)
domain_name="argocd.corpcloud.cn"
domain_name_02="argocd.corpcloud"
# 安装 openssl
yum install -y openssl
# 创建证书保存路径
mkdir -p /opt/cert/${domain_name}
cd /opt/cert/${domain_name}
2)生成证书颁发机构证书(ca)
# 1. 生成 CA 证书私钥
openssl genrsa -out ca.key 4096
# 2. 生成 CA 证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=CN/ST=Beijing/L=Beijing/O=CorpCloud/OU=Personal/CN=MyPersonal Root CA" \
-key ca.key \
-out ca.crt
3)生成服务器证书
证书通常包含
.crt文件和.key文件
# 1.生成私钥
openssl genrsa -out ${domain_name}.key 4096
# 2.生成证书签名请求 (CSR)
openssl req -sha512 -new \
-subj "/C=CN/ST=Beijing/L=Beijing/O=CorpCloud/OU=Personal/CN=${domain_name}" \
-key ${domain_name}.key \
-out ${domain_name}.csr
# 3.生成 x509 v3 扩展文件
# alt_names:客户端访问 Harbor 用什么地址,此处就列什么地址
cat > v3.ext << EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=${domain_name}
DNS.2=${domain_name_02}
DNS.3=hostname
EOF
# 4.使用 v3.ext 文件为您的 Harbor 主机生成证书。
openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca.crt -CAkey ca.key -CAcreateserial \
-in ${domain_name}.csr \
-out ${domain_name}.crt
04 · 中间件建设
企业中会用到诸多中间件服务,比如:数据库(MySQL、PgSQL、Redis 等等)、MQ(RabbitMQ、EMQX、Kafka)、Zookeeper、Nacos 等等。
其中要求,生产环境“数据库中间件”使用二进制部署,数据库中间件是极其重要的组件,大公司还会独立成立一个部门来单独管理数据库组件(数据层 DBA 岗位)。
Ps:其他中间件可以采用 Docker、K8s 部署。
本次云原生项目侧重点不在 DBA 数据层,主要在业务层,所以随后所有“数据库中间件”能采用 Docker 部署的都会采用该方式部署,因为 Docker 部署快、启动方便。
准备工作
在 3 个区域的机房分别准备一台机器,作为 Tools 工具类机器来完成随后的安装。如果服务采用二进制、Yum、Docker 安装,那么都可以部署在这台机器上。
二进制部署
部署 MySQL 主从(一主二从)
本项目 MySQL 会采用二进制部署一主二从数据库。主要原因是因为本项目多机房架构,后面每个机房都要使用 PowerDNS 基础组件,为了让本项目多机房部署的 PowerDNS 服务数据一致,数据库将采用一主二从模式。
本次本项目安装的版本是 8.x 版本中最新的版本,也是 8.x 版本的最后一个版本:8.4.10。
MySQL 版本说明
| 版本 | ** 状态** | ** 说明** |
|---|---|---|
| MySQL 5.7 | ⚠已停用 | 社区退役日期:2023-10-31,Azure 延长支持到 2029-03 |
| MySQL 8.0 | ⚠即将停用 | 社区退役日期:2026-04-30,Azure 标准支持到 2026-12-31 |
| MySQL 8.4 LTS | 当前推荐 | 最新次要版本 8.4.10,支持到至少 2032 年 |
| MySQL 9.7 LTS | 最新 LTS | 2026-04-21 发布,集 8.4 稳定性与 9.x 创新之大成 |
MySQL 各版本,认证插件变化。
caching_sha2_password(新版推荐,加密算法安全系数高),一些服务不支持。
mysql_native_password(旧版使用,加密算法安全系数低),兼容旧服务。
修改用户的插件认证类型 SQL
-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

下载 MySQL 二进制包
MySQL 官方文档下载地址:https://dev.mysql.com/downloads/mysql/
访问此处,立即下载本文档使用版本:访问立即下载
MD5:
70f4942b84f69ce97dcf175c8e0b7a68

上传解压(在 3 台 Tools 机器上执行)
$ md5sum mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz
70f4942b84f69ce97dcf175c8e0b7a68 mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz
yum install -y tar
mkdir -p /opt/soft
mkdir -p /opt/modules/mysql
mv mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz /opt/soft
cd /opt/soft
tar -xf mysql-8.4.10-linux-glibc2.28-x86_64.tar.xz
mv mysql-8.4.10-linux-glibc2.28-x86_64 /opt/modules/mysql
cd /opt/modules/mysql
安装 MySQL
前提条件
创建用户与用户组(在 3 台 Tools 机器上执行)
# 创建用户组
groupadd mysql
# 创建用户 并放入mysql组
useradd -g mysql mysql
创建目录,添加环境变量(在 3 台 Tools 机器上执行)
# 创建 MySQL 相关依赖目录,并授权
mkdir -p /opt/modules/mysql/{data,logs,tmp}
chown -R mysql:mysql /opt/modules/mysql
# 添加 MySQL 的 bin 目录环境变量
cat >> /etc/profile << EOF
export PATH=\$PATH:/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64/bin
EOF
source /etc/profile
创建 Master 和 Slave 配置
1)创建 Master 配置(在 MySQL 的 Master Tools 机器上执行)
# 定义Mysql家目录
mysql_home_dir=/opt/modules/mysql
# 创建配置
cat > /opt/modules/mysql/my.cnf << EOF
[client]
port = 3306
socket = /data/mysql/tmp/mysql.sock
default-character-set = utf8mb4
[mysqld]
mysql_native_password = ON
user = mysql
datadir = ${mysql_home_dir}/data
tmpdir = ${mysql_home_dir}/tmp
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
pid-file = ${mysql_home_dir}/tmp/mysqld.pid
log-error = ${mysql_home_dir}/logs/error.log
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
# ---------------------- 主从复制配置 ----------------------
server-id = 1
log-bin = mysql-bin
binlog_expire_logs_seconds = 2592000
binlog_format = ROW
sync_binlog = 1
relay-log = ${mysql_home_dir}/logs/relay-bin
relay-log-index = ${mysql_home_dir}/logs/relay-bin.index
relay_log_purge = 1
# 普通一主一从架构无需开启 log-slave-updates
# ---------------------- 连接数与表缓存 ----------------------
max_connections = 800
table_open_cache = 4096
# ---------------------- 慢查询日志(故障排查) ----------------------
slow_query_log = 1
slow_query_log_file = ${mysql_home_dir}/logs/slow.log
long_query_time = 1
log_queries_not_using_indexes = 1
# ---------------------- InnoDB 核心优化参数 ----------------------
innodb_file_per_table = 1
innodb_buffer_pool_size = 2G
innodb_buffer_pool_instances = 2
innodb_log_file_size = 512M
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 1
innodb_page_cleaners = 2
innodb_thread_concurrency = 16
innodb_sort_buffer_size = 2M
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_stats_persistent_sample_pages = 28
innodb_online_alter_log_max_size = 2G
innodb_open_files = 8192
# ---------------------- 单会话缓冲区 ----------------------
sort_buffer_size = 2M
join_buffer_size = 2M
tmp_table_size = 64M
max_heap_table_size = 64M
# ---------------------- 安全加固项 ----------------------
local_infile = 0
EOF
# 授予mysql权限
chown mysql:mysql /opt/modules/mysql/my.cnf
2)创建 Slave 配置(在 MySQL 的 Slave Tools 机器上执行)
修改项:
IP=192.168.101.116:作为 Slave 1 节点,修改字段server-id = 2、IP字段IP=192.168.101.117:作为 Slave 2 节点,修改字段server-id = 3、IP字段
mysql_home_dir=/opt/modules/mysql
# 修改为自己的IP
IP=192.168.101.130
cat > /opt/modules/mysql/my.cnf << EOF
[client]
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
default-character-set = utf8mb4
[mysqld]
mysql_native_password = ON
user = mysql
datadir = ${mysql_home_dir}/data
tmpdir = ${mysql_home_dir}/tmp
port = 3306
socket = ${mysql_home_dir}/tmp/mysql.sock
pid-file = ${mysql_home_dir}/tmp/mysqld.pid
log-error = ${mysql_home_dir}/logs/error.log
character-set-server = utf8mb4
collation-server = utf8mb4_unicode_ci
# ---------------------- 主从复制配置(从库关键修改) ----------------------
# 从1写2,从2写3,所有实例ID全局唯一
server-id = 3
report_host = ${IP}
report_port = 3306
log-bin = mysql-bin
binlog_expire_logs_seconds = 2592000
# binlog_row_format = ROW
sync_binlog = 1
# 从库必须开启中继日志
relay-log = ${mysql_home_dir}/logs/relay-bin
relay-log-index = ${mysql_home_dir}/logs/relay-bin.index
relay_log_purge = 1
# 从库只读,禁止普通用户写入
read_only = 1
super_read_only = 1
# ---------------------- 连接数与表缓存 ----------------------
max_connections = 800
table_open_cache = 4096
# ---------------------- 慢查询日志(故障排查) ----------------------
slow_query_log = 1
slow_query_log_file = ${mysql_home_dir}/logs/slow.log
long_query_time = 1
log_queries_not_using_indexes = 1
# ---------------------- InnoDB 核心优化参数 ----------------------
innodb_file_per_table = 1
innodb_buffer_pool_size = 2G
innodb_buffer_pool_instances = 2
# 8.4废弃innodb_log_file_size,改用统一redo容量
innodb_redo_log_capacity = 1G
innodb_log_buffer_size = 64M
innodb_flush_log_at_trx_commit = 1
innodb_page_cleaners = 2
innodb_thread_concurrency = 16
innodb_sort_buffer_size = 2M
innodb_write_io_threads = 8
innodb_read_io_threads = 8
innodb_stats_persistent_sample_pages = 28
innodb_online_alter_log_max_size = 2G
innodb_open_files = 8192
# ---------------------- 单会话缓冲区 ----------------------
sort_buffer_size = 2M
join_buffer_size = 2M
tmp_table_size = 64M
max_heap_table_size = 64M
# ---------------------- 安全加固项 ----------------------
local_infile = 0
EOF
chown mysql:mysql /opt/modules/mysql/my.cnf
初始化(3个节点)
mysqld \
--defaults-file=/opt/modules/mysql/my.cnf \
--initialize \
--user=mysql \
--basedir=/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64 \
--datadir=/opt/modules/mysql/data
# 如果mysqld命令执行失败,修改配置后,执行以下命令后再次执行mysqld命令
rm -rf /opt/modules/mysql/{data,logs,tmp}
mkdir -p /opt/modules/mysql/{data,logs,tmp}
chown -R mysql:mysql /opt/modules/mysql
保存初始化后的 root 密码
# 查看日志,查看初始化root密码
$ cat /opt/modules/mysql/logs/error.log
# 主库
root@localhost: D:%EkoR=P1d%
# 从库1
root@localhost: HYCAlY_oD8cG
# 从库2
root@localhost: (Tfv*EVHB3gd
mysql -uroot -p'D:%EkoR=P1d%'
mysql -uroot -p'HYCAlY_oD8cG'
mysql -uroot -p'(Tfv*EVHB3gd'

启动 MySQL
1)创建 Systemd 系统服务单元文件(在 3 台 Tools 机器上执行)
mysql_home_dir=/opt/modules/mysql
mysql_home_dir_source=/opt/modules/mysql/mysql-8.4.10-linux-glibc2.28-x86_64
# 创建服务
cat > /etc/systemd/system/mysqld.service << EOF
[Unit]
Description=MySQL 8.4.10 Database Service
Documentation=https://dev.mysql.com/doc/refman/8.4/en/
After=network.target syslog.target
[Service]
User=mysql
Group=mysql
Type=simple
PIDFile=${mysql_home_dir}/tmp/mysqld.pid
# 启动命令
ExecStart=${mysql_home_dir_source}/bin/mysqld --defaults-file=${mysql_home_dir}/my.cnf
# 优雅停机,超时5分钟强制杀死
ExecStop=${mysql_home_dir_source}/bin/mysqladmin --defaults-file=${mysql_home_dir}/my.cnf shutdown
TimeoutStopSec=300
# 文件句柄限制
LimitNOFILE=65535
LimitNPROC=65535
# 资源防护,生产安全必开
PrivateDevices=true
ProtectSystem=strict
ProtectHome=true
NoNewPrivileges=true
ReadWritePaths=${mysql_home_dir}
# 内存上限,根据当前innodb 2G设置,预留系统内存
MemoryMax=4G
# 重启策略
Restart=on-failure
RestartSec=5s
# 正常退出不自动重启
RestartPreventExitStatus=0 16
# systemd 日志托管,journalctl -u mysqld 查看启动日志
StandardOutput=journal+console
StandardError=journal+console
[Install]
WantedBy=multi-user.target
EOF
2)启动 MySQL 服务(在 3 台 Tools 机器上执行)
# 重载systemd配置
systemctl daemon-reload
# 设置开机自启
systemctl enable mysqld
# 启动服务
systemctl start mysqld
# 查看状态
systemctl status mysqld
# 查看启动日志
journalctl -u mysqld -f

基础验证
1)创建 mysql.sock 软链接,便于 mysql 客户端命令连接(在 3 台 Tools 机器上执行)
ln -s /opt/modules/mysql/tmp/mysql.sock /tmp/mysql.sock
mysql -uroot -p'D:%EkoR=P1d%'
mysql -uroot -p'HYCAlY_oD8cG'
mysql -uroot -p'(Tfv*EVHB3gd'

2)修改 Root 的初始化密码。本项目必须先修改密码,才能执行 SQL 语句。
主库修改密码
-- 登录 mysql 后,执行修改密码 sql
ALTER USER 'root'@'localhost' IDENTIFIED BY 'mysql.corpcloud.cn';


执行 SQL 语句成功
show databases;

从库修改密码,执行下列 SQL 语句
-- 仅限制普通用户,root仍能写
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 0;
ALTER USER 'root'@'localhost' IDENTIFIED BY 'mysql.corpcloud.cn';
# 修改密码后,再次打开配置
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 1;
主从配置
启动主从
1)主节点执行
行业统一用 repl(replication 复制缩写)只是运维习惯,好辨认。
$ mysql -uroot -p'mysql.corpcloud.cn'
-- 创建复制用户
CREATE USER 'repl'@'%' IDENTIFIED BY 'repl.mysql.corpcloud.cn';
-- 授予最小同步权限
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
FLUSH PRIVILEGES;
在主库(Source)查看当前正在写入的二进制日志(binlog)坐标位点,专门用于两件事:
- 搭建一主两从主从复制:告诉从库从哪个日志文件、哪个字节位置开始同步数据;
- 数据恢复(时间点还原):备份后记录当前 binlog 位点,后续可回放增量日志恢复数据。
mysql> SHOW BINARY LOG STATUS;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000002 | 1176 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
2)所有从节点执行
配置复制源(8.4 专用 CHANGE REPLICATION SOURCE TO)
# 执行下列 SQL 语句
$ mysql -uroot -p'mysql.corpcloud.cn'
STOP REPLICA;
RESET REPLICA ALL;
## 根据自己情况修改下列连接信息
CHANGE REPLICATION SOURCE TO
SOURCE_HOST='192.168.101.125',
SOURCE_USER='repl',
SOURCE_PASSWORD='repl.mysql.corpcloud.cn',
SOURCE_PORT=3306,
SOURCE_LOG_FILE='mysql-bin.000002',
SOURCE_LOG_POS=1176,
GET_SOURCE_PUBLIC_KEY=1, -- 8.4关键参数,解决caching_sha2_password连接报错
SOURCE_CONNECT_RETRY=10;

启动复制线程 & 查看同步状态
-- 启动IO、SQL线程,这两个线程决定本项目主从数据库是否配置成功
START REPLICA;
-- 查看主从同步状态
SHOW REPLICA STATUS\G

3)主从高频运维命令汇总
1. 启停复制
START REPLICA;
STOP REPLICA;
STOP REPLICA IO_THREAD;
STOP REPLICA SQL_THREAD;
2. 重置复制(更换主库 / 重新同步)
STOP REPLICA;
RESET REPLICA ALL;
3. 查看主库 binlog 文件列表
SHOW BINARY LOGS;
4. 临时关闭从库只读(运维改数据)
SET GLOBAL read_only=0;
SET GLOBAL super_read_only=0;
验证主从
1)查看从节点信息(主库执行)
# 查看当前的从节点
SHOW REPLICAS;

2)主库创建 数据库,从库可以正常查看数据库,验证完成
# 主库创建
create database demo;
# 从库查看
show databases;



Docker 部署
目前 Docker 部署的所有组件都将部署在/opt/platform-tools/<组件名称>目录
安装 MySQL
# 默认镜像
mysql:8.4.10
# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/mysql:8.4.10
mkdir -p /opt/platform-tools/mysql
cd /opt/platform-tools/mysql
# 启动
mkdir -p ./conf/conf.d
cat > ./conf/conf.d/my.cnf << EOF
[mysqld]
mysql-native-password=ON
EOF
docker run -dit -p 3305:3306 --name mysql-8 --restart=always --privileged=true \
-v ./log:/var/log/mysql \
-v ./data:/var/lib/mysql \
-v ./conf:/etc/mysql \
-v /etc/localtime:/etc/localtime:ro \
-e MYSQL_ROOT_PASSWORD=mysql.corpcloud.cn \
registry.corpcloud.cn/demo/mysql:8.4.10
# 容器目录
/etc/mysql/conf.d
/etc/my.cnf
修改用户的插件认证类型 SQL
-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

3306 端口监听表示服务启动成功
docker logs -f mysql-8

$ docker exec -it mysql-8 bash
$ mysql -uroot -pmysql.corpcloud.cn
mysql> show databases;
+--------------------+
| Database |
+--------------------+
| information_schema |
| mysql |
| performance_schema |
| sys |
+--------------------+
mysql> exit
Bye
bash-5.1# exit
容器中默认配置(可忽略此步骤)
$ cat /etc/my.cnf
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/8.4/en/server-configuration-defaults.html
[mysqld]
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
host-cache-size=0
skip-name-resolve
datadir=/var/lib/mysql
socket=/var/run/mysqld/mysqld.sock
secure-file-priv=/var/lib/mysql-files
user=mysql
pid-file=/var/run/mysqld/mysqld.pid
[client]
socket=/var/run/mysqld/mysqld.sock
!includedir /etc/mysql/conf.d/
安装 PostgreSQL 16
1)部署 PostgreSQL 16
# 默认镜像
postgres:16
# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/postgres:16
创建 compose 启动 PostgreSQL
# 创建工作目录
mkdir -p /opt/platform-tools/PostgreSQL
cd /opt/platform-tools/PostgreSQL
# 创建对应服务的用户与数据库,如:jumpserver
service_db_name=harbor
service_db_user=harbor
service_db_user_password='psql.harbor.corpcloud.cn'
# 创建初始化 SQL,这个init.sql用于创建harbor数据库
cat > init.sql << EOF
-- 创建用户
CREATE USER ${service_db_user} WITH PASSWORD '${service_db_user_password}';
-- 创建数据库并指定所有者,OWNER 让 harbor 用户成为库的所有者
CREATE DATABASE ${service_db_name} OWNER ${service_db_user};
EOF
# 创建compose.yaml文件
cat > docker-compose-postgres.yaml << EOF
version: '3.8'
services:
postgres:
image: registry.corpcloud.cn/demo/postgres:16
container_name: postgres16
restart: unless-stopped
environment:
POSTGRES_PASSWORD: psql.corpcloud.cn # 超级用户 postgres 的密码
POSTGRES_USER: postgres # 超级用户名(默认)
POSTGRES_DB: postgres # 默认数据库(可选)
TZ: Asia/Shanghai
ports:
- "5432:5432"
volumes:
- ./pg_data:/var/lib/postgresql/data # 持久化数据
- ./init.sql:/docker-entrypoint-initdb.d/init.sql # 初始化脚本
EOF
# 启动服务
docker compose -f docker-compose-postgres.yaml up -d
# 停止服务
docker compose -f docker-compose-postgres.yaml down
2)postgres16 容器启动之后,自动执行 init.sql 文件,创建用户和数据库
# 进入名为 postgres16 的 Docker 容器,以 postgres 用户身份,连接到 harbor 数据库
$ docker exec -it postgres16 psql -U postgres -d ${service_db_name}
-- 查看所有数据库
\l
-- 查看当前连接信息
\conninfo
# 创建数据库(可选,按实际修改数据库名称)
CREATE DATABASE harbor;
# 删除数据库(可选)
postgres=# DROP DATABASE IF EXISTS jumpserver;
DROP DATABASE
# 创建数据库(可选)
postgres=# CREATE DATABASE jumpserver;
CREATE DATABASE

安装 Redis
JumpServer 早期版本不支持连接 Redis 集群。
# 默认镜像
redis:8.6.4
# 提供镜像(本项目使用镜像)
registry.corpcloud.cn/demo/redis:8.6.4
mkdir -p /opt/platform-tools/redis
cd /opt/platform-tools/redis
cat > docker-compose-redis.yaml << EOF
version: '3.8'
services:
redis:
image: registry.corpcloud.cn/demo/redis:8.6.4
container_name: redis
restart: unless-stopped
ports:
- "6379:6379" # 映射端口,允许外部访问
command: redis-server --requirepass "redis.corpcloud.cn" --bind 0.0.0.0 --protected-mode no
volumes:
- ./redis_data:/data # 持久化数据,避免容器删除后数据丢失
# 可选:设置时区
environment:
- TZ=Asia/Shanghai
EOF
docker compose -f docker-compose-redis.yaml up -d
docker compose -f docker-compose-redis.yaml down
# 测试
$ docker exec -it redis redis-cli
# 验证密码(进入后执行)
AUTH redis.corpcloud.cn
# 测试基本操作
PING
# 应返回:PONG
安装 minio
# 默认镜像
minio/minio:latest
# 现在镜像
registry.corpcloud.cn/demo/minio:latest
mkdir -p /opt/platform-tools/minio
cd /opt/platform-tools/minio
cat > docker-compose.yaml << EOF
services:
minio:
image: registry.corpcloud.cn/demo/minio:RELEASE.2025-09-07T16-13-09Z
container_name: minio
restart: always
ports:
# API端口
- "9000:9000"
# Web控制台端口
- "9001:9001"
environment:
MINIO_ROOT_USER: admin
MINIO_ROOT_PASSWORD: minio.corpcloud.cn
volumes:
- ./data:/data
command: server /data --console-address ":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 30s
timeout: 20s
retries: 3
EOF
docker compose up -d
docker compose down
http://192.168.101.104:9001/ admin/minio.corpcloud.cn

K8s 部署
安装 Nacos
在本项目的规划中 Nacos 部署在各个环境的 K8s 集群当中。一套 K8s 集群对应部署一套 Nacos 集群。
Nacos 部署本项目可采用** Operator 方式部署 Nacos 集群**,这也是官方文档推荐方式。本次将安装 Nacos-v3.2.3 目前最新版本。
Nacos 官方文档文档 K8s 集群部署方式:访问跳转
Nacos Operator 官方文档部署文档(文档比较旧):访问跳转

Operator 参考资料
Operator 概念:K8s二开必须要懂的核心概念-Operator
Operator 实操:全网最详细的Kubebuilder开发K8s Operator的全流程指南,细致入微(真不标题党!)
安装 Nacos Operator
1)下载 nacos-k8s 源码:https://github.com/nacos-group/nacos-k8s

下载地址:https://github.com/nacos-group/nacos-k8s/releases

上传到服务器解压
yum install -y unzip zip
mkdir -p /opt/platform-tools/operator
tar -xf nacos-k8s-1.0.2.tar.gz
mv nacos-k8s-1.0.2* /opt/platform-tools/operator
cd /opt/platform-tools/operator/nacos-k8s-1.0.2
2)helm 安装 Nacos Operator
./operator:operator 的代码家目录,存放 operator 所有相关信息。
# 默认镜像
nacos/nacos-operator
# 使用镜像
registry.corpcloud.cn/demo/nacos-server:latest
cd /opt/platform-tools/operator/nacos-k8s-1.0.2
kubectl create ns nacos-operator
# helm 安装
helm install nacos-operator ./operator/chart/nacos-operator \
--namespace nacos-operator \
--set image.repository=registry.corpcloud.cn/demo/nacos-operator \
--set image.pullPolicy=IfNotPresent
导入初始化 SQL
1)下载对应版本的初始化 SQL:https://github.com/alibaba/nacos/releases/tag/3.2.3

将这个 SQL 上传到 mysql-8 容器内
docker cp /root/mysql-schema.sql mysql-8:/root/mysql-schema.sql

2)登录 192.168.101.104 安装 MySQL 的节点,创建 nacos_dev 数据库。
生产环境每个环境都不要使用同一个数据库实例。
本项目这个项目 Demo 后续都将使用这个数据库实例,为了节约资源。所以此处通过名称区分一下环境,比如:nacos_dev、nacos_test、nacos。(只针对本云原生项目)
开启mysql_native_password插件(一定要打开)
$ cat /opt/modules/mysql/my.cnf # 按实际 MySQL 路径修改
[mysqld]
mysql_native_password=ON
$ systemctl restart mysqld
进入 mysql-8 容器
docker exec -it mysql-8 bash
mysql -uroot -pmysql.corpcloud.cn
执行 SQL
create database nacos_dev;
use nacos_dev;
source /root/mysql-schema.sql;
-- 查看当前认证插件类型
SELECT user, host, plugin FROM mysql.user;
-- 创建 nacos 用户
CREATE USER 'nacos'@'%' IDENTIFIED BY 'nacos.mysql.corpcloud.cn';
-- 修改 nacos 用户使用 mysql_native_password 方式认证
ALTER USER 'nacos'@'%' IDENTIFIED WITH mysql_native_password BY "nacos.mysql.corpcloud.cn";
-- 开启远程登录权限
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'%' WITH GRANT OPTION;
GRANT ALL PRIVILEGES ON *.* TO 'nacos'@'localhost' WITH GRANT OPTION;
FLUSH PRIVILEGES;

运行 Nacos Operator 的 CR
鉴权手册
运行 Nacos 需要开启对应的鉴权模式,本次使用默认鉴权类型。
参考官方文档文档:访问跳转至鉴权手册


选择 Docker 部署方式,可以获取对应的环境变量参考实例,K8s 部署时也需要这些变量。

各变量解释

生成变量值,安装 Nacos CR 时使用。
1. 自定义生成 NACOS_AUTH_TOKEN 的值,需要通过 base64 转码
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
SdzSkqHxpbCX0AiwFsIn4TCgUlB5sgsU
$ echo -n "SdzSkqHxpbCX0AiwFsIn4TCgUlB5sgsU" | base64
U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U=
2. NACOS_AUTH_IDENTITY_KEY # 这个值可以随意填
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
2DX2LYupf5fQFgbUP9OO2dqX864CiyrC
3. NACOS_AUTH_IDENTITY_VALUE # 这个值可以随意填
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 32
uwtopQSl5eOTLorjssQXskp5ZDL8AYKu
custom_base64_token_secret_key="U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U="
custom_server_identity_key="2DX2LYupf5fQFgbUP9OO2dqX864CiyrC"
custom_server_identity_value="uwtopQSl5eOTLorjssQXskp5ZDL8AYKu"
# 参考
NACOS_AUTH_ENABLE=true
NACOS_AUTH_ADMIN_ENABLE=true
NACOS_AUTH_CONSOLE_ENABLE=true
NACOS_AUTH_SYSTEM_TYPE=nacos
NACOS_AUTH_TOKEN=${custom_base64_token_secret_key}
NACOS_AUTH_IDENTITY_KEY=${custom_server_identity_key}
NACOS_AUTH_IDENTITY_VALUE=${custom_server_identity_value}
安装 Nacos 服务 CR
./operator/nacos-k8s-master/operator/config/samples:存放 CR 样本的目录,可以直接使用里面的 yaml 文件部署
# 默认镜像
nacos/nacos-server:v2.0.3
# 使用镜像
registry.corpcloud.cn/demo/nacos-server:v3.2.3
需修改命名空间、镜像、MySQL 连接信息和环境变量
cd /opt/platform-tools/operator/nacos-k8s-1.0.2
# 备份 nacos_cluster_mysql.yaml
cp ./operator/config/samples/nacos_cluster_mysql.yaml ./operator/config/samples/nacos_cluster_mysql.yaml.bak
kubectl create ns nacos
# 部署Naocs集群,修改项:名称空间、镜像、环境变量
cat > ./operator/config/samples/nacos_cluster_mysql.yaml << EOF
apiVersion: nacos.io/v1alpha1
kind: Nacos
metadata:
name: nacos
namespace: nacos # 修改名称空间
spec:
type: cluster
# image: nacos/nacos-server:v2.0.3
image: registry.corpcloud.cn/demo/nacos-server:v3.2.3 # 使用Nacos最新版本
replicas: 3
env:
- name: NACOS_AUTH_ENABLE
value: "true"
- name: NACOS_AUTH_ADMIN_ENABLE
value: "true"
- name: NACOS_AUTH_CONSOLE_ENABLE
value: "true"
- name: NACOS_AUTH_SYSTEM_TYPE
value: nacos
- name: NACOS_AUTH_TOKEN
value: U2R6U2txSHhwYkNYMEFpd0ZzSW40VENnVWxCNXNnc1U=
- name: NACOS_AUTH_IDENTITY_KEY
value: 2DX2LYupf5fQFgbUP9OO2dqX864CiyrC
- name: NACOS_AUTH_IDENTITY_VALUE
value: uwtopQSl5eOTLorjssQXskp5ZDL8AYKu
resources:
requests:
cpu: 100m
memory: 512Mi
limits:
cpu: 1
memory: 2Gi
database:
type: mysql
mysqlHost: 192.168.101.125
mysqlDb: nacos_dev
mysqlUser: nacos
mysqlPort: "3306"
mysqlPassword: "nacos.mysql.corpcloud.cn"
config: | # 自定义配置
management.endpoints.web.exposure.include=* # 开发所有监控端点
EOF
# 创建Nacos集群
kubectl apply -f ./operator/config/samples/nacos_cluster_mysql.yaml
访问 Nacos
Nacos 端口介绍
- 8848 端口:基于HTTP 协议,为了兼容 Nacos1.x 旧版客户端的连接端口。
- 9848 端口:基于 HTTP/2 协议的 gRPC,用于 Nacos 2.x 以及当前最新版本都是使用的该端口进行的通讯,实现服务注册 / 发现、配置监听、长连接推送、实例心跳上报。在实际配置过程中,本项目还是配置 8848 端口,因为程序的 SDK 会自动与在
8848 + 1000得到 9848 端口。 - 7848 端口:基于 JRaft 分布式一致性算法,用于 Nacos 集群 Raft 选举、数据同步,仅集群内部互通。
- 8080 端口:目前只有 Nacos-3.x 采用,主要用于将 Web 控制台端口独立和 8848 分离。3.x 之前版本是通过
http://ip:8848/nacos访问的 UI 页面。
Nacos Operator 版本和 Nacos 版本有点不一致。比如:目前最新版本的 Nacos UI 访问端口为 8080,然而 CR 创建的 Nacos,名为 nacos-healess 的 Service,没有开启 8080 端口。

所以本方案需要手动创建一个 Nacos Servcie
apiVersion: v1
kind: Service
metadata:
labels:
app: nacos
component: nacos
middleware: nacos
name: nacos
namespace: nacos
spec:
ports:
- name: client
port: 8848
protocol: TCP
targetPort: 8848
- name: rpc
port: 7848
protocol: TCP
targetPort: 7848
- name: new-rpc
port: 9848
protocol: TCP
targetPort: 9848
- name: ui
port: 8080
protocol: TCP
targetPort: 8080
selector:
app: nacos
component: nacos
middleware: nacos
type: ClusterIP

创建 Ingress
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: nacos-dev.corpcloud.cn
namespace: nacos
spec:
ingressClassName: nginx
rules:
- host: nacos-dev.corpcloud.cn
http:
paths:
- backend:
service:
name: nacos
port:
number: 8080
path: /
pathType: Prefix

配置域名解析

浏览器访问 nacos-dev.corpcloud.cn,此处设置初始化密码为 nacos

登录账号 nacos/nacos


访问右上角可以切回旧版控制台页面

开发环境中配置的 Nacos 地址
开发环境中,开发人员本地开发调试一般都是通过nacos-dev.corpcloud.cn:8848域名 + 端口来连接 Nacos。
为了在开发环境使用通过域名 + 端口访问,本项目需要在 Ingress 中添加如下端口映射。执行下方命令更新即可:
helm upgrade ingress-nginx ingress-nginx \
--reuse-values \
--namespace ingress-nginx \
--set tcp.7848="nacos/nacos-headless:7848" \
--set tcp.8848="nacos/nacos-headless:8848" \
--set tcp.9848="nacos/nacos-headless:9848"


关于 Nacos 双写
双写的诞生背景是,Nacos 1.x 升级到 2.x 平滑升级过渡的机制,因为 1.x 和 2.x 服务注册内存数据结构完全不一样。所以双写只针对服务发现,配置中心不受这个双写影响。
哪些 Nacos 版本默认开启双写?

Nacos 2.0.0~2.0.4 版本默认开启了双写,若使用的此处的版本,那么在安装时,需关闭双写,不然有可能出现服务注册数据不一致的情况。
使用 Nacos 2.0.0~2.0.4 版本时,Nacos 1.x 不支持 gRPC 连接,报错见下图或Nacos cluster is running with 1.X mode, can‘t accept gRPC request temporarily.

解决方法参考:
- nacos集群部署,报错Nacos cluster is running with 1.X mode, can‘t accept gRPC request temporarily._nacos cluster is running with 1.x mode, can’t acce-CSDN博客
- nacos 为什么要关闭双写?
- nacos 怎么关闭双写?
1)执行下方命令,查看 Nacos 节点监控,同时查看双写是否关闭
curl -X GET 'localhost:8848/nacos/v1/ns/upgrade/ops/metrics'

2)关闭双写
curl -X PUT 'localhost:8848/nacos/v1/ns/operator/switches?entry=doubleWriteEnabled&value=false'

删除 CR 和 Nacos Operator
kubectl delete -f ./operator/config/samples/nacos_cluster_mysql.yaml
helm delete nacos-operator -n nacos-operator
END
05 · 基础组件与平台工具组件
基础组件
基础组件非常重要,它一但故障将影响上层所有服务。
部署 PowerDNS 与实践方案
架构
PowerDNS 架构如下:
- 首先在 3 个机房创建 tools 节点,部署 MySQL 主从,cd-tools 节点作为 Master 节点,其余作为 Slave 节点。
- 分别在 3 个机房中独立部署 PowerDNS,各机房配套本地 MySQL 数据库。然后就近调用本机房 PowerDNS 提供域名解析服务。
- 在成都机房部署 PowerDNS-Admin(UI 组件)可以通过 Docker 部署在 cd-tools 节点,也可以通过 K8s 部署在 Plat 集群中。
- 后续本项目都将通过 PowerDNS-Admin 来进行管理 PowerDNS 的增删改查。这样通过 MySQL 主从数据库即可实现 3 个机房的数据保持一致。
优势:
- 记录级同步、延迟低、各机房查询本地 MySQL 速度快。
- PDNS 配置(三台完全一样)不需要
master=yes、slave=no、allow-axfr-ips等参数。

PowerDNS 介绍
GitHub 地址:https://github.com/PowerDNS/pdns
PowerDNS 成立于上世纪 90 年代后期,是开源 DNS 的主要供应商。
PowerDNS 也有商业化的产品支持,其用户和客户包括了全球领先的电信服务供应商、大型集成商及财富500强软件公司,在斯堪的纳维亚、德国和荷兰,PowerDNS 是域名服务器软件的第一大供应商。
PowerDNS 官方文档提供了三种主要产品:权威服务器(Authoritative)、递归器(Recursor)和 dnsdist。权威服务器和递归是独立组件,可以无缝混合使用,而 dnsdist 则提供高性能负载均衡和 DDoS 防护。
与 Bind 不同,PowerDNS 的权威和递归服务是分开的服务。

本次项目本项目主要会介绍到权威服务器(Authoritative)、递归器(Recursor)。Authoritative + Recursor 实现内外网解析。
环境准备
- Rocky Linux 8 / 9 / 10(本次版本 10)
- MySQL 8.0+(本次版本 8.4.10)
- 需要 EPEL 仓库(PowerDNS 依赖所需)
- 端口 53、54 (UDP+TCP) 未被占用
安装权威服务器(Authoritative)
1)配置仓库
参考 PowerDNS 仓库配置文档:https://repo.powerdns.com/
# 安装EPEL仓库
dnf install epel-release -y
# 获取PowerDNS仓库,使用5.1.x最新稳定版
curl -o /etc/yum.repos.d/powerdns-auth-51.repo https://repo.powerdns.com/repo-files/el-auth-51.repo

2)安装
参考 安装权威服务器 官方文档文档:https://docs.powerdns.com/authoritative/installation.html
后端包与版本:https://packages.debian.org/search?keywords=pdns-backend
dnf install pdns -y
dnf install pdns-backend-mysql -y
两个包的区别:
pdns— PowerDNS Authoritative Server 主程序,包含核心 DNS 服务 + BIND zone file 后端(内置)pdns-backend-mysql— MySQL 存储后端插件,让 pdns 能从 MySQL 数据库读写 DNS 记录
pdns 本身不带 MySQL 支持,单独装 pdns 只能用 BIND zone file。要存 MySQL 就必须两个都装
3)创建表结构
# 从库临时关闭只读(在线生效,无需重启)(可选)
SET GLOBAL read_only = 0;
SET GLOBAL super_read_only = 0;
# 操作完成,立刻恢复只读(生产必须还原,防止误写破坏主从)(可选)
SET GLOBAL read_only = 1;
SET GLOBAL super_read_only = 1;
创建数据库、用户、授权
-- 登录 MySQL
mysql -u root -p
-- 1. 创建数据库
CREATE DATABASE powerdns DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
-- 2. 创建用户(MySQL 8 必须先建用户再授权)
CREATE USER 'powerdns'@'localhost' IDENTIFIED BY 'powerdns.mysql.corpcloud.cn';
CREATE USER 'powerdns'@'%' IDENTIFIED BY 'powerdns.mysql.corpcloud.cn';
-- 如果 PowerDNS 启动日志报错 "caching_sha2_password cannot be loaded"
-- 若提示 libmysqlclient 版本较老,删除用户并改用 mysql_native_password:
-- DROP USER 'powerdns'@'%';
-- CREATE USER 'powerdns'@'%' IDENTIFIED WITH mysql_native_password BY 'your_password';
-- 3. 授权(用户必须先存在,否则报 ERROR 1410)
GRANT ALL PRIVILEGES ON powerdns.* TO 'powerdns'@'%';
GRANT ALL PRIVILEGES ON powerdns.* TO 'powerdns'@'localhost';
-- 4. 刷新权限
FLUSH PRIVILEGES;
导入自带 SQL,创建表结构
# 查找 schema 文件路径
rpm -ql pdns-backend-mysql | grep schema
# 导入(-p和密码之间不能有空格)
mysql -u powerdns -p'powerdns.mysql.corpcloud.cn' powerdns < /usr/share/doc/pdns-backend-mysql/schema.mysql.sql
## docker
docker cp /usr/share/doc/pdns-backend-mysql/schema.mysql.sql mysql-8:/root/schema.mysql.sql
mysql -u powerdns -p'powerdns.mysql.corpcloud.cn' powerdns < /root/schema.mysql.sql
验证表结构
USE powerdns;
SHOW TABLES;
-- 应输出: domains, records, supermasters, comments, domainmetadata, cryptokeys, tsigkeys
mysql> show tables;
+--------------------+
| Tables_in_powerdns |
+--------------------+
| comments |
| cryptokeys |
| domainmetadata |
| domains |
| records |
| supermasters |
| tsigkeys |
+--------------------+
7 rows in set (0.00 sec)
4)配置 PowerDNS(在3台都执行)
备份配置文件
cp /etc/pdns/pdns.conf /etc/pdns/pdns.conf.bak
编辑 /etc/pdns/pdns.conf
需修改以下内容:
gmysql-host使用 IP 地址,避免鸡生蛋问题(PowerDNS 启动时需要连 MySQL,如果用域名解析又依赖 PowerDNS 自己就会死循环)api-key使用cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24生成24位随机字符串。如:4tPJP7YYijdymaiR0DniaQzvMySQL 连接参数根据自行情况修改local-port端口默认 53,此处使用 54。递归器(Recursor)服务使用 53
cat > /etc/pdns/pdns.conf << EOF
#################################
# MySQL 后端 #
#################################
launch=gmysql
gmysql-host=192.168.101.130
gmysql-port=3306
gmysql-dbname=powerdns
gmysql-user=powerdns
gmysql-password=powerdns.mysql.corpcloud.cn
gmysql-innodb-read-committed=yes
#################################
# 运行模式 #
#################################
daemon=yes
setgid=pdns
setuid=pdns
#################################
# 网络监听 #
#################################
local-address=0.0.0.0
local-port=54
#################################
# HTTP API #
#################################
api=yes
api-key=4tPJP7YYijdymaiR0DniaQzv
webserver=yes
webserver-address=0.0.0.0
webserver-port=8081
webserver-allow-from=0.0.0.0/0 # 允许任意 IP 访问,生产环境宜改为内网段,防止 API 被公网访问
#################################
# 日志 #
#################################
log-timestamp=yes
loglevel=4 # 只记录警告和错误,避免日志爆炸。loglevel=6 太详细,生产环境宜用 3-4
log-dns-details=no
query-logging=no # 关闭查询日志,生产环境不宜记录所有查询
#################################
# DNSSEC #
#################################
# 如需启用 DNSSEC,在后端中配置(MySQL 用 gmysql-dnssec=yes)
# 不启用则无需配置,默认关闭
EOF
5)启动服务(在3台都执行)
# PDNS 以 pdns 用户运行,必须能读配置文件
chown pdns:pdns /etc/pdns/pdns.conf
# 或者
chmod 644 /etc/pdns/pdns.conf
systemctl restart pdns
systemctl enable pdns
systemctl status pdns
journalctl -u pdns -f
6)测试(在第一台主库的PowerDNS执行)
命令创建域名与解析记录
# 1. 创建域名区域 corpcloud.cn(已创建可跳过)
pdnsutil create-zone corpcloud.cn
# 2. 查看系统全部域名zone,确认corpcloud.cn存在
pdnsutil list-all-zones
# 3. 添加A记录 harbor.corpcloud.cn 指向 192.168.101.109
pdnsutil add-record corpcloud.cn harbor.corpcloud.cn. A 192.168.101.120
# 4. 查看corpcloud.cn下所有解析记录,验证harbor记录是否添加成功
pdnsutil list-zone corpcloud.cn
yum install -y bind-utils
dig harbor.corpcloud.cn @192.168.101.125
安装 PowerDNS-Admin UI 页面(可以采用K8s安装这个服务)
PowerDNS-Admin GitHub:https://github.com/PowerDNS-Admin/PowerDNS-Admin
SECRET_KEY 是 Flask(PowerDNS-Admin 底层 Web 框架)的密钥,用于:
- 用户登录 session 签名
- CSRF 防跨站攻击 token 生成
- 其他安全加密操作
$ cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24
jn7EOk6cNRkRlwDBtkKxc0xI
mkdir -p /opt/platform-tools/powerdns
cd /opt/platform-tools/powerdns
mkdir -p ./pda-data
chmod 777 ./pda-data
$ docker run -d \
--name powerdns-admin \
-e SECRET_KEY='jn7EOk6cNRkRlwDBtkKxc0xI' \
-v ./pda-data:/data \
-p 9191:80 \
registry.corpcloud.cn/demo/pda-legacy:latest
# 删除 powerdns-admin
docker rm -f powerdns-admin
# 镜像
powerdnsadmin/pda-legacy:latest # 默认镜像
registry.corpcloud.cn/demo/pda-legacy:latest
访问 http://192.168.101.104:9191,首次登录需要创建一个账号(admin/powerdns.corpcloud.cn),见图:


此处是 pdns.conf 文件配置的 API 端口与地址



PowerDNS 备注规范
域名解析备注规范,分两种情况,K8s集群部署和主机部署的服务。
1)K8s集群
规范写法:K8s集群_环境_项目名_域名解析名
例:nj-qh-az01-biz-priv-dev-01_prod_Harbor_nj-harbor

2)主机部署
虚拟机:VM
物理机:PM
规范写法:机房-可用区-(VM/PM)-主机IP_环境_项目名_域名解析名
例:CD-DC01-AZ01-VM-192.168.101.104_prod_GitLab_gitlab

3)验证
这样可以清晰知道该解析对应的服务以及部署为主,同时也能方便本项目找到想要的域名解析,也方便本项目管理。
后续文档文档中,出现不规范的备注名,不用理会,该规范都以下图为准。

递归器(Recursor)(所有项目都安装)
1)安装

yum install pdns-recursor -y
2)配置
递归器配置 YAML 语法:https://docs.powerdns.com/recursor/yamlsettings.html
cp /etc/pdns-recursor/recursor.conf /etc/pdns-recursor/recursor.conf.bak
从 5.0.0 版本开始,递归支持配置文件的新 YAML 语法
pdnsutil list-all-zones | while read zone junk; do echo "${zone}=127.0.0.1:54"; done > /etc/pdns-recursor/forward-zones.conf
allow_from 字段以下的网段如果没有覆盖当前,容器网段、局域网段,可以自行加上。
cat > /etc/pdns-recursor/recursor.conf << EOF
incoming:
allow_from:
- 127.0.0.0/8
- 10.0.0.0/8
- 100.64.0.0/10
- 169.254.0.0/16
- 192.168.0.0/16
- 172.16.0.0/12
listen:
- 0.0.0.0:53
max_tcp_per_client: 256
dnssec:
validation: off
outgoing:
network_timeout: 3000
recordcache:
max_negative_ttl: 60 # 负缓存最多 60 秒,默认从 SOA 取值。为了使修改的域名解析及时生效。
recursor:
# forward_zones:
# - zone: corpcloud.cn
# forwarders:
# - 127.0.0.1:54 # pdns-auth 的地址和端口
# recurse: true
forward_zones_file: /etc/pdns-recursor/forward-zones.conf
forward_zones_recurse:
- zone: .
forwarders:
- 223.5.5.5
- 114.114.114.114
recurse: true
security_poll_suffix: ""
setgid: pdns-recursor
setuid: pdns-recursor
threads: 2
logging:
trace: false
loglevel: 6
timestamp: true
EOF
创建脚本自动化脚本:实现自动获取当前创建的 zone(一级域名),是否与 forward-zones.conf 文件中保持一致,不一致就增或减。
forward-zones.conf 作用:此处是用于存放 zone(一级域名)的,主要是为了实现本项目内部的域名优先解析(优先查找权威服务器),如果内部域名没有该域名解析,就使用阿里云的 DNS 来解析。
cat > /etc/pdns-recursor/sync-pdns-zones.sh << 'EOF'
#!/bin/bash
FORWARD_FILE="/etc/pdns-recursor/forward-zones.conf"
AUTH_ADDR="127.0.0.1:54"
CHANGED=0
# 1. 从 auth 获取当前所有 zone,存到临时文件
pdnsutil list-all-zones | awk '{print $1}' > /tmp/auth-zones.tmp
# 2. 对比:删除 forward-zones.conf 中 auth 已经不存在的域名
while read line; do
zone=$(echo "$line" | cut -d= -f1)
if ! grep -qx "$zone" /tmp/auth-zones.tmp; then
sed -i "\|^${zone}=|d" "$FORWARD_FILE"
echo "REMOVED: ${zone}"
CHANGED=1
fi
done < "$FORWARD_FILE"
# 3. 对比:追加 auth 中新增的域名
while read zone _; do
if ! grep -q "^${zone}=" "$FORWARD_FILE" 2>/dev/null; then
echo "${zone}=${AUTH_ADDR}" >> "$FORWARD_FILE"
echo "ADDED: ${zone}"
CHANGED=1
fi
done < /tmp/auth-zones.tmp
rm -f /tmp/auth-zones.tmp
# 4. 有变动就重启
if [ $CHANGED -eq 1 ]; then
systemctl restart pdns-recursor
echo "pdns-recursor restarted"
else
echo "No changes"
fi
EOF
创建定时任务:每 1 分钟执行一次该脚本,这样可以始终保持域名一致
# 改成先检查再添加
if ! crontab -l 2>/dev/null | grep -q "/etc/pdns-recursor/sync-pdns-zones.sh"; then
(crontab -l 2>/dev/null; echo "*/1 * * * * bash /etc/pdns-recursor/sync-pdns-zones.sh") | crontab -
fi
3)启动
touch /etc/pdns-recursor/forward-zones.conf
systemctl enable pdns-recursor
systemctl restart pdns-recursor
systemctl status pdns-recursor
journalctl -u pdns-recursor -f
yum install -y bind-utils
dig harbor.corpcloud.cn @192.168.101.104
4)验证
删除 hosts 中域名解析,添加nameserver 192.168.101.104的 PowerDNS 服务器地址,并只保留该 DNS 地址。
$ cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104

可以解析内网的域名,如:harbor.corpcloud.cn。也可以解析外网域名,如:baidu.com。

应用 PowerDNS
本项目安装好 PowerDNS 之后,需要将所有 Linux 和 Windoes 系统的 DNS 修改为本项目自己的 PowerDNS 服务器地址。这样本项目内部网络就可以正常解析到本项目内网的域名解析,同时因部署了**递归器(Recursor)**也可以解析到外部域名解析。
Linux 修改 DNS 服务器地址(各个机房填写自己的 PowerDNS 服务器地址)
1)删除 hosts 中域名解析,添加nameserver 192.168.101.104的 PowerDNS 服务器地址,并只保留该 DNS 地址。
$ cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104
2)测试

Windows 修改 DNS 服务器地址(各个机房填写自己的 PowerDNS 服务器地址)
1)进入控制面板,打开"更改适配器设置"页面(Win10、Win11通用)



2)手打配置 DNS 服务器。首选 DNS 地址配置 PowerDNS 的地址:192.168.101.104。

也可以配置备用 DNS 服务器,当首先 DNS 服务器宕机不可用时,会使用备用 DNS 服务器
3)关闭所有 Windows 系统中本地 hosts 解析(C:\Windows\System32\drivers\etc\hosts)

4)测试解析是否正常
jumpserver.corpcloud.cn 需要提前在 PowerDNS-Admin 页面中添加解析

K8s 集群中 Pod 容器内使用 PowerDSN 解析(各个机房填写自己的 PowerDNS 服务器地址)
本项目需实现在 K8s 集群中的容器中 ping 通 gitlab.corpcloud.cn 域名,如果不添加以下配置,是无法解析的,因为默认 K8s 容器中使用的 DNS 解析是 coredns 服务提供的(容器内填写的是 coredns 服务的 svc ip)。
所以本项目需把自己 PowerDNS 服务器 IP 加入到 coredns 服务的配置里面,这样容器中也能解析到 PowerDNS 中的域名解析。
1)查看宿主机 DNS 配置
[root@k8s-master01-192-168-101-106 ~]# cat /etc/resolv.conf
# Generated by NetworkManager
nameserver 192.168.101.104
# nameserver 223.5.5.5
# nameserver 8.8.8.8
[root@k8s-master01-192-168-101-106 ~]# ping gitlab.corpcloud.cn
PING gitlab.corpcloud.cn (192.168.101.104) 56(84) bytes of data.
64 bytes from 192.168.101.104: icmp_seq=1 ttl=64 time=0.111 ms
2)查看容器内的 DNS 配置
# cat /etc/resolv.conf
search default.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.96.0.10 # 容器内填写的是 coredns 服务的 svc ip
options ndots:5
/ #
/ #
/ #
/ # ping gitlab.corpcloud.cn
ping: bad address 'gitlab.corpcloud.cn'
/ #
3)修改 CoreDNS 配置,集群全局永久生效,所有 Pod 通用(所有 K8s 集群全部修改,各个机房填写自己的 PowerDNS 服务器地址)
让集群 DNS 内置当前内网 PowerDNS 服务器,所有容器自动解析内网域名
# 修改 configmap
kubectl edit configmap coredns -n kube-system


重启服务生效
kubectl -n kube-system rollout restart deployment/coredns
4)测试
- 容器之间依旧可以通
- 也可以通本项目的内网域名

平台管理工具
K8s 管理平台(80%)
K8s 管理平台用于替代大量 kubectl 操作,降低操作复杂度并减少误操作;同时便于开发、测试人员使用。
Kuboard
Kuboard 作为 K8s 管理工具,当前提供 v3 和 v4 版本;本项目采用 v3。
Kuboard 社区免费版仅支持 3 个 K8s 集群。本套文档涉及 4 个集群,因此部署两套 Kuboard:
- dev、test、prod 环境集群单独一套 Kuboard;
- plat 环境集群单独一套 Kuboard。
本项目以下将通过 K8s 来部署 Kuboard-v3 版本。
部署 Kuboard
将 Kuboard 部署在nj-jn-az01-plat-priv-prod-01集群中。
kubectl create ns kuboard
# IN_NET_IP=`ip addr | grep 'state UP' -A2 | grep inet | egrep -v '(127.0.0.1|inet6|docker)' | awk '{print $2}' | tr -d "addr:" | head -n 1 | cut -d / -f1`
mkdir -p /opt/platform-tools/k8s-yaml/kuboard-v3
cd /opt/platform-tools/k8s-yaml/kuboard-v3
cat > kuboard-all.yaml << EOF
apiVersion: apps/v1
kind: Deployment
metadata:
name: kuboard
namespace: kuboard
spec:
replicas: 1
selector:
matchLabels:
app: kuboard
template:
metadata:
labels:
app: kuboard
spec:
containers:
- name: kuboard
image: eipwork/kuboard:v3
ports:
- containerPort: 80
protocol: TCP
- containerPort: 10081
protocol: TCP
env:
- name: KUBOARD_ENDPOINT
value: "http://127.0.0.1:80"
- name: KUBOARD_AGENT_SERVER_TCP_PORT
value: "10081"
volumeMounts:
- name: kuboard-data
mountPath: /data
volumes:
- name: kuboard-data
hostPath:
path: /opt/platform-tools/k8s-yaml/kuboard-v3/data
restartPolicy: Always
---
# Service for Web UI (port 80)
apiVersion: v1
kind: Service
metadata:
name: kuboard-web
namespace: kuboard
spec:
type: ClusterIP # NodePort
selector:
app: kuboard
ports:
- protocol: TCP
port: 80
targetPort: 80
# nodePort: 30080 # 可选,不指定会自动分配
---
# Service for Agent communication (port 10081)
apiVersion: v1
kind: Service
metadata:
name: kuboard-agent
namespace: kuboard
spec:
type: ClusterIP # NodePort
selector:
app: kuboard
ports:
- protocol: TCP
port: 10081
targetPort: 10081
# nodePort: 31081 # 可选,不指定会自动分配
---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: kuboard-web
namespace: kuboard
spec:
ingressClassName: nginx
rules:
- host: kuboard.corpcloud.cn
http:
paths:
- backend:
service:
name: kuboard-web
port:
number: 80
path: /
pathType: Prefix
EOF
sed -i 's#eipwork/kuboard:v3#swr.cn-east-2.myhuaweicloud.com/kuboard/kuboard:v3#g' kuboard-all.yaml
kubectl apply -f kuboard-all.yaml
部署第二套 Kuboard
mkdir -p /opt/platform-tools/k8s-yaml/kuboard-v3
cd /opt/platform-tools/k8s-yaml/kuboard-v3
cp kuboard-all.yaml kuboard-02-all.yaml
sed -i \
-e '/^kind: Deployment$/,/^---$/ s/^ name: kuboard$/ name: kuboard-02/' \
-e 's/^ name: kuboard-web$/ name: kuboard-web-02/' \
-e 's/^ name: kuboard-agent$/ name: kuboard-agent-02/' \
-e 's/app: kuboard$/app: kuboard-02/g' \
-e 's/host: kuboard\.corpcloud\.cn/host: kuboard-02.corpcloud.cn/' \
-e '/kind: Ingress/,/^---$/ s/name: kuboard-web$/name: kuboard-web-02/' \
-e 's/name: kuboard-data/name: kuboard-02-data/g' \
-e 's|kuboard-v3/data|kuboard-v3/data-02|' \
kuboard-02-all.yaml
kubectl apply -f kuboard-02-all.yaml
添加域名解析

浏览器访问:http://kuboard.corpcloud.cn admin/Kuboard123

添加 K8s 集群
1)添加 K8s 集群

2)填写信息


3)选择身份用户

4)集群概要信息

5)将所有的 K8s 集群都纳管上

http://kuboard-02.corpcloud.cn/ admin/Kuboard123

堡垒机建设
堡垒机平台是本项目企业中用于管理主机等资产的重要工具,堡垒机主要实现**“事前授权、事中监控、事后审计”**的全流程安全管控。
本方案将通过开源 JumpServer 来完成本项目的堡垒机平台建设。
部署 PostgreSQL、Redis
JumpServer 通过 Helm 部署时,需要自行准备 PostgreSQL 和 Redis 数据库。
部署 PostgreSQL 和 Redis
PSQL 数据库实例中创建 jumpserver 库
docker exec -it postgres16 bash
CREATE DATABASE jumpserver;
# 3. (可选)创建专用用户并授权
CREATE USER jumpserver WITH PASSWORD '当前密码';
GRANT ALL PRIVILEGES ON DATABASE jumpserver TO jumpserver;
部署 JumpServer
本次本项目部署 jumpserver-v4.10.16 版本,是目前最新的版本。
1)获取 chart 包
cd /opt/platform-tools/helm-chart
helm repo add jumpserver https://jumpserver.github.io/helm-charts
helm repo list
helm search repo jumpserver/jumpserver --versions
helm pull jumpserver/jumpserver --version v4.10.16
# 目前最新版本
tar -xf jumpserver-v4.10.16.tgz
# 备份values.yaml文件
cp jumpserver/values.yaml jumpserver/values.yaml.template
# 默认镜像(可选)
jumpserver/core:v4.10.16-ce
jumpserver/chen:v4.10.16-ce
jumpserver/koko:v4.10.16-ce
jumpserver/lion:v4.10.16-ce
jumpserver/web:v4.10.16-ce
helm 启动参数方式安装
此处通过helm --set参数来进行赋值安装,修改值宜写入 values.yaml 文件。
1)Helm 安装 JumpServer
参数说明:
- core 服务配置
- core.config.secretKey:用于加密和解密敏感数据,JumpServer 使用它来加密和解密存储在数据库中的密码、Token、Access Key 等敏感信息。
- core.config.bootstrapToken:用于其他组件(如 koko, lion, chen, magnus 等)向核心组件 (core) 进行注册和身份验证。
# 秘钥,用于:core.config.secretKey
cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 50
# 引导令牌,用于:core.config.bootstrapToken
cat /dev/urandom | tr -dc A-Za-z0-9 | head -c 24
- koko 服务暴露 NodePort 端口,用于终端连接堡垒机。--set koko.service.type=NodePort;--set koko.service.ssh.port=30222
1. 安装jumpserver
kubectl create ns jumpserver
helm install jumpserver jumpserver \
-n jumpserver \
--set global.imageRegistry=registry.corpcloud.cn \
--set global.imageOwner=demo \
--set global.storageClass=k8s-nfs-storage \
--set ingress.hosts[0]="jumpserver.corpcloud.cn" \
--set externalDatabase.host=192.168.101.125 \
--set externalDatabase.port=5432 \
--set externalDatabase.password="psql.corpcloud.cn" \
--set externalRedis.host=192.168.101.125 \
--set externalRedis.port=6379 \
--set externalRedis.password="redis.corpcloud.cn" \
--set core.config.secretKey="6RG8gnsV64WRSiaHbtiUSXtvdrlRYGQ8p47EqdVL8lPEw90cJs" \
--set core.config.bootstrapToken="AvuJkN4GcKAfkZGmitnimstL" \
--set koko.service.type=NodePort \
--set koko.service.ssh.port=30222
2. 删除jumpserver
helm uninstall jumpserver -n jumpserver
kubectl delete pvc -n jumpserver --all
kubectl get pvc -n jumpserver
2)安装完成后,浏览器访问 http://jumpserver.corpcloud.cn
修改默认账号密码:admin/jumpserver.corpcloud.cn


本地配置192.168.101.106 jumpser.corpcloud.cn 的 Hosts 解析后,就可以在浏览器访问本项目的 JumpServer 服务了。

12345678

管理 JumpServer

添加资产
资产目录结构如下,可以鼠标右击DEFALUT节点分支创建目录结构
DEFALUT节点名称无法修改


1)添加资产


2)创建资产
命名规范见图
基本设置:节点选择自己上面对应创建的目录结构
账号:首次创建没有账号,本项目可新增一个模板

创建账号模板

3)授予 admin 管理用户,所有节点与资产

连接资产
本项目一般使用 JumpServer 提供的 Web 终端、连接工具终端,来连接资产。
1)Web 终端

访问要连接的对象即可连接

2)连接工具终端
终端工具连接是 koko 服务提供功能,本项目在安装时是将 koko 服务打开了 NodePort 方式的它的端口号为 30222。本项目输入 JumpServer 地址+30222 端口,输入创建的账号即可连接。
此处使用管理员用户:jumpserver.corpcloud.cn admin 30222

连接后显示使用说明(首次连接可能为英文)

输入 p 查看授权过的资产列表

输入对应的 ID 或者 IP 地址即可连接


