Docker进阶:scratch镜像、Harbor高可用与containerd
一、不指定基础镜像:FROM scratch
1. 什么是 scratch
scratch 是 Docker 的保留名称,表示不引用任何基础镜像,从一个完全空白的层开始构建,常用于制作极简镜像或自定义根文件系统。
2. 下载第三方的根文件系统
wget https://mirrors.tuna.tsinghua.edu.cn/lxc-images/images/busybox/1.36.1/amd64/default/20240726_06%3A00/rootfs.tar.xz
3. 编写 Dockerfile
# scratch 是保留名称,镜像名不能叫 scratch;
# 一旦 FROM 为 scratch,表示不引用任何镜像
FROM scratch
LABEL auther=demo \
school=demo \
class=demo-class
ONBUILD LABEL email=demo@example.com office=www.example.com
# 把准备好的根文件系统解压到 /
ADD demo-linux-rootfs.tar.gz /
CMD ["tail", "-f", "/etc/hosts"]
4. 用 docker-compose 构建并推送到 Harbor
version: '3.8'
services:
mysql-server:
build:
context: .
dockerfile: Dockerfile
image: harbor.example.com/demo-linux/demo-class:v0.1
container_name: mylinux
docker-compose build
docker login -u admin -p 1 harbor.example.com
docker-compose push
5. 拉取并启动测试
docker pull harbor.example.com/demo-linux/demo-class:v0.1
docker run --rm -it harbor.example.com/demo-linux/demo-class:v0.1 sh
进入后查看系统信息:
cat /etc/os-release
# NAME="Demo-Class"
# VERSION="24.07 LTS (Demo)"
# ID=demo_linux
# PRETTY_NAME="Ubuntu 24.07.1 LTS"
ifconfig
# eth0 inet addr:172.17.0.2
最终镜像约 2.31MB,说明用 scratch + 自定义 rootfs 可以得到非常小的镜像。
二、docker registry 迁移镜像到 Harbor
1. registry 准备测试镜像
先把镜像 tag 到 registry 并 push:
docker tag demo-games:motuo-v0.1 10.0.0.101:5000/demo-games/motuo:v0.1
docker push 10.0.0.101:5000/demo-games/motuo:v0.1
docker tag demo-games:doudizhu-v0.1 10.0.0.101:5000/demo-games/doudizhu:v0.1
docker push 10.0.0.101:5000/demo-games/doudizhu:v0.1
docker push 10.0.0.101:5000/demo-db/mysql:8.3.0-oracle
第二次 push 同源镜像时,公共层会显示
Mounted from ...,因为层已经存在于 registry,不需要重复上传。
2. 访问 WebUI 验证
http://10.0.0.101:5000/v2/_catalog
3. 在 Harbor 中新建仓库
在 Harbor 的「仓库管理」里指定 docker registry 的信息(IP 地址、名称等)。
4. 新建复制规则
新建复制规则,指定从哪个 registry 同步镜像(迁移用 pull 方式从 registry 拉取)。
5. 验证并手动触发
- 同步过来的镜像默认是私有项目,拉取前需要先
docker login; - 把项目设为公开后,无需登录即可直接拉取。
三、Harbor 镜像同步
1. 在 101 节点新建 Harbor
scp harbor-offline-installer-v2.7.4.tgz 10.0.0.101:~
tar xf harbor-offline-installer-v2.7.4.tgz -C /demo/softwares/
cd /demo/softwares/harbor/
cp harbor.yml{.tmpl,}
vim harbor.yml
关键配置:
hostname: 10.0.0.101
#https:
# port: 443
harbor_admin_password: 1
data_volume: /demo/data/harbor
安装:
./install.sh --with-chartmuseum
2. 在 102 节点新建 Harbor
略,配置方式相同。
3. 在 102 节点新建复制规则
略,方向选择 push,把 101 的镜像同步过来。
4. 修改客户端配置
{
"insecure-registries": ["10.0.0.101:5000", "harbor.example.com", "10.0.0.101"]
}
systemctl restart docker
5. 拉取 101 的镜像测试
docker pull 10.0.0.101/demo-linux/demo-class:v0.1
## 四、Harbor 高可用项目解决方案
课堂提到两种方案(细节见视频),核心思路都是让多个 Harbor 节点对外提供一个统一入口:
- 方案一:使用 keepalived 等工具实现 VIP 漂移,配合镜像复制保证数据一致;
- 方案二:通过负载均衡 / 反向代理(如 nginx、LVS)分发请求。
## 五、keepalived 实现 VIP 漂移
### 1. 安装 keepalived
两个节点都执行:
```bash
apt -y install keepalived
2. 101 节点配置(MASTER)
global_defs {
router_id 10.0.0.101
}
vrrp_script chk_nginx {
script "/etc/keepalived/check_port.sh 80"
interval 2
weight -20
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 101
priority 100
advert_int 1
mcast_src_ip 10.0.0.101
nopreempt
authentication {
auth_type PASS
auth_pass demo_pass
}
track_script {
chk_nginx
}
virtual_ipaddress {
10.0.0.250
}
}
systemctl restart keepalived
ip a
# ens33 上多出 inet 10.0.0.250/32
3. 102 节点配置(BACKUP)
global_defs {
router_id 10.0.0.102
}
vrrp_script chk_nginx {
script "/etc/keepalived/check_port.sh 80"
interval 2
weight -20
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 101
priority 90
advert_int 1
mcast_src_ip 10.0.0.102
authentication {
auth_type PASS
auth_pass demo_pass
}
track_script {
chk_nginx
}
virtual_ipaddress {
10.0.0.250
}
}
systemctl restart keepalived
ip a
# 正常情况下 102 还没有 10.0.0.250
4. 验证 VIP 漂移
- 登录 Harbor,观察当前项目在 101 节点(VIP 在 101);
- 手动停止 101 的 keepalived:
systemctl stop keepalived
ip a
# 101 上的 10.0.0.250 消失
- 观察 102:
ip a
# 102 上出现 inet 10.0.0.250/32
- 再次访问 Harbor WebUI,发现已切换到 102 节点。
注意:两台节点的
virtual_router_id必须一致,否则它们属于不同的 VRRP 组、无法正确协商 VIP;auth_pass也要一致。
六、Harbor 部署 HTTPS(官方签发证书)
1. 准备证书目录并下载证书
cd /demo/softwares/harbor/
mkdir certs && cd certs
# 下载自己的签发证书(演示为讲师提供的证书)
wget http://<下载服务器>/softwares/example.com_nginx.zip
apt -y install unzip
unzip example.com_nginx.zip
解压后得到 .crt / .key / .pem 等文件。
2. 修改 harbor.yml
# 与证书域名完全一致
hostname: www.example.com
# 开启 https
https:
port: 443
certificate: /demo/softwares/harbor/certs/example.com_nginx/example.com_bundle.crt
private_key: /demo/softwares/harbor/certs/example.com_nginx/example.com.key
3. 重新安装并访问
./install.sh --with-chartmuseum
访问:
https://www.example.com/harbor/projects
温馨提示:本地测试时要在 Windows 的 hosts 文件里加上
www.example.com到 Harbor 节点 IP 的解析记录。
七、containerd 环境搭建
containerd 是一个高性能的容器运行时,Docker 底层也可以调用它。下面是脱离 Docker、独立搭建 containerd 的过程。
1. 卸载 docker
./install-docker.sh r
如果卸载脚本失败,建议重新准备一套干净的虚拟机。要求:不允许安装 docker。
2. 下载并解压 containerd
wget https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz
# 内网可用:wget http://<下载服务器>/softwares/cri-containerd-cni-1.7.13-linux-amd64.tar.gz
tar xf cri-containerd-cni-1.7.13-linux-amd64.tar.gz
3. 拷贝运行时和 systemd 配置
cp usr/local/bin/containerd /usr/local/bin/
cp usr/local/bin/containerd-shim-runc-v2 /usr/bin/
cp usr/local/bin/ctr /usr/bin/
cp etc/systemd/system/containerd.service /usr/lib/systemd/system/
4. 生成并修改配置文件
mkdir /etc/containerd
containerd config default > /etc/containerd/config.toml
把 cgroup 交给 systemd 管理:
sed -ri 's#(SystemdCgroup = )false#\1true#' /etc/containerd/config.toml
修改 pause 基础镜像(国内源):
sed -i 's#registry.k8s.io/pause:3.8#registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.8#' /etc/containerd/config.toml
可选:添加私有仓库镜像配置:
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."harbor.example.com"]
endpoint = [
"https://harbor.example.com"
]
5. 启动并验证
systemctl enable --now containerd
systemctl status containerd
ctr --version
ctr version
八、安装 runc
wget https://github.com/opencontainers/runc/releases/download/v1.1.12/runc.amd64
# 内网可用:wget http://<下载服务器>/softwares/runc.amd64
mv runc.amd64 /usr/bin/runc
chmod +x /usr/bin/runc
runc --version
# runc version 1.1.12
九、ctr 管理镜像
| 命令 | 作用 |
|---|---|
ctr images ls | 查看镜像列表 |
ctr images pull <镜像> | 拉取镜像 |
ctr images mount <镜像> <目录> | 挂载镜像查看内容 |
ctr images export <tar> <镜像> | 导出镜像为 tar |
ctr images rm <镜像> | 删除镜像 |
ctr images import <tar> | 导入镜像 |
ctr images tag <旧> <新> | 打标签 |
ctr images check | 检查镜像内容是否完整 |
ctr images ls
ctr images pull registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
# 挂载镜像查看内容,查看完记得卸载
ctr images mount registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 /mnt/
ll /mnt/
umount /mnt
# 导出 / 导入
ctr images export --platform linux/amd64 demo-xiuxian-v1.tar.gz registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
ctr images rm registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
ctr images import --platform linux/amd64 demo-xiuxian-v1.tar.gz
# 打标签
ctr images tag registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 10.0.0.101/demo-games/xiuxian:v1
# 检查
ctr images check
## 十、ctr 管理容器
containerd 里「容器」和「任务」是分开的:
- `container`:容器定义(镜像、配置等);
- `task`:真正运行起来的进程。
| 命令 | 作用 |
| --- | --- |
| `ctr containers create <镜像> <名称>` | 创建容器 |
| `ctr containers ls` | 查看容器列表 |
| `ctr containers info <名称>` | 查看容器详细信息 |
| `ctr task start -d <名称>` | 后台启动任务 |
| `ctr task ls` | 查看任务(含 PID) |
| `ctr task exec --exec-id <id> -t <名称> sh` | 进入容器执行命令 |
| `ctr tasks pause <名称>` | 暂停容器 |
| `ctr tasks resume <名称>` | 恢复容器 |
| `ctr task kill <名称>` | 停止容器 |
| `ctr task rm <名称>` | 删除已停止的任务 |
| `ctr task rm -f <名称>` | 强制删除(含运行中的) |
```bash
ctr containers create registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 xiuxian
ctr containers ls
ctr containers info xiuxian
ctr task start -d xiuxian
ctr task ls
# xiuxian 629615 RUNNING
# 查看容器主进程在宿主机的 PID
ps -ef | grep 629615
# 执行命令 / 进入容器
ctr task exec --exec-id 1 xiuxian ifconfig -a
ctr task exec --exec-id 2 -t xiuxian sh
# 用 --net-host 直接以宿主机网络运行(ctr 本地没有镜像时不会自动拉取)
ctr run -d --net-host registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 xiuxian2
# 暂停 / 恢复
ctr tasks pause xiuxian
ctr tasks resume xiuxian
# 停止 / 删除
ctr task kill xiuxian
ctr task rm xiuxian
ctr task rm -f xiuxian2
容器处于暂停状态时无法
exec;删除正在运行的任务需要加-f。
十一、ctr 名称空间(namespace)
名称空间用于把镜像、容器等资源隔离到不同分组,类似一个独立的工作区。
| 命令 | 作用 |
|---|---|
ctr ns ls | 查看名称空间 |
ctr ns create <名称> | 创建名称空间 |
ctr -n <名称> image pull <镜像> | 把镜像拉到指定名称空间 |
ctr -n <名称> image ls | 查看指定名称空间的镜像 |
ctr ns rm <名称> | 删除名称空间 |
ctr ns ls
ctr ns create demo-class
# 名称空间不存在时,-n 拉取会自动创建
ctr -n demo-class image pull registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
ctr -n demo-class image ls
删除名称空间前必须先清空:
ctr ns rm demo-class
# 报错:namespace must be empty ...
ctr -n demo-class i rm registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
ctr ns rm demo-class
想要删除名称空间,该名称空间下必须是空的(镜像、快照等都要先删干净)。
十二、ctr 实现容器数据持久化
用 --mount type=bind 挂载宿主机目录:
# 创建宿主机目录
mkdir -pv /demo/games
# 创建容器并挂载:src=宿主机目录,dst=容器目录
ctr -n demo-class container create \
--mount type=bind,src=/demo/games,dst=/usr/local/nginx/html,options=rbind:rw \
registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2 xiuxian
ctr -n demo-class task start -d xiuxian
验证挂载和写入:
cp /etc/os-release /demo/games/
ctr -n demo-class tasks exec --exec-id $RANDOM -t xiuxian sh
ls -l /usr/local/nginx/html
# 能看到 os-release
echo haha > /usr/local/nginx/html/haha.log
exit
删除容器后,宿主机数据仍在:
ctr -n demo-class tasks rm -f xiuxian
ctr -n demo-class container rm xiuxian
ll /demo/games/
# haha.log、os-release 仍然存在
## 十三、ctr 推送 / 拉取 Harbor 镜像
### 1. 在 config.toml 里配置私有仓库
```toml
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.0.0.101"]
endpoint = [
"http://10.0.0.101"
]
systemctl restart containerd
2. 打标签并推送
ctr i tag registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 10.0.0.101/demo-games/xiuxian:v1
# HTTP 仓库要加 --plain-http;-u 指定用户名密码
ctr images push --platform linux/amd64 --plain-http -u admin:1 10.0.0.101/demo-games/xiuxian:v1
3. 从 Harbor 拉取
ctr images pull --plain-http 10.0.0.101/demo-games/doudizhu:v0.1
ctr i ls
十四、Docker 集成 containerd
让 Docker 的 dockerd 使用已有 containerd 作为运行时。
1. 安装 docker 并修改启动脚本
./install-docker.sh i
/lib/systemd/system/docker.service 关键内容:
[Unit]
Description=demo linux Docker Engine
Documentation=https://docs.docker.com,https://www.example.com
[Service]
ExecStart=/usr/bin/dockerd --containerd /run/containerd/containerd.sock --debug
systemctl daemon-reload
systemctl restart docker
2. 观察 Docker 与 containerd 的对应关系
docker run -d --name c1 -p 81:80 registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v3
ctr ns ls
# 多出一个 moby 名称空间(Docker 使用的)
ctr -n moby task ls
# 能看到 Docker 容器对应的 task 和 PID
docker inspect -f "{{.State.Pid}}" c1
# PID 与 ctr -n moby task ls 中的一致
删除 Docker 容器后,对应的 containerd task 也一起消失:
docker container rm -f `docker container ps -qa`
ctr -n moby task ls
# 为空
3. Docker 数据卷与 containerd
docker run -d --name c1 -p 81:80 -v /demo-data registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v3
docker inspect -f "{{range .Mounts}}{{.Source}}{{end}}" c1
# /var/lib/docker/volumes/<id>/_data
cp /etc/fstab /var/lib/docker/volumes/<id>/_data
ctr -n moby task exec -t --exec-id $RANDOM <容器ID> sh
ls /demo-data/
# fstab
十五、总结
FROM scratch表示不引用基础镜像,配合自定义 rootfs 可以做出极小的镜像;- registry 迁移到 Harbor 靠「仓库 + 复制规则」实现,默认同步为私有项目,设为公开后无需登录即可拉取;
- Harbor 高可用常用 keepalived 做 VIP 漂移,两台节点
virtual_router_id必须一致; - Harbor HTTPS 要配置与证书域名一致的 hostname,以及正确的证书和私钥路径;
- containerd 是高性能容器运行时,
ctr是它的命令行客户端,核心对象有镜像、容器、任务、名称空间; - ctr 里
container与task分离:先创建容器,再启动任务;删除运行中的任务要-f; - 删除名称空间前必须先清空其中的镜像和快照;
- ctr 用
--mount type=bind实现数据持久化,容器删除后宿主机数据保留; - 推拉 HTTP 私有仓库用
--plain-http,带认证用-u admin:1; - Docker 集成 containerd 后,Docker 容器会出现在
moby名称空间,task 的 PID 与docker inspect一致。