4
0

Docker进阶:scratch镜像、Harbor高可用与containerd

2026-11-01
Docker进阶:scratch镜像、Harbor高可用与containerd

一、不指定基础镜像:FROM scratch

1. 什么是 scratch

scratch 是 Docker 的保留名称,表示不引用任何基础镜像,从一个完全空白的层开始构建,常用于制作极简镜像或自定义根文件系统。

2. 下载第三方的根文件系统

wget https://mirrors.tuna.tsinghua.edu.cn/lxc-images/images/busybox/1.36.1/amd64/default/20240726_06%3A00/rootfs.tar.xz

3. 编写 Dockerfile

# scratch 是保留名称,镜像名不能叫 scratch;
# 一旦 FROM 为 scratch,表示不引用任何镜像
FROM scratch

LABEL auther=demo \
      school=demo \
      class=demo-class

ONBUILD LABEL email=demo@example.com office=www.example.com

# 把准备好的根文件系统解压到 /
ADD demo-linux-rootfs.tar.gz /

CMD ["tail", "-f", "/etc/hosts"]

4. 用 docker-compose 构建并推送到 Harbor

version: '3.8'

services:
  mysql-server:
    build:
      context: .
      dockerfile: Dockerfile
    image: harbor.example.com/demo-linux/demo-class:v0.1
    container_name: mylinux
docker-compose build
docker login -u admin -p 1 harbor.example.com
docker-compose push

5. 拉取并启动测试

docker pull harbor.example.com/demo-linux/demo-class:v0.1
docker run --rm -it harbor.example.com/demo-linux/demo-class:v0.1 sh

进入后查看系统信息:

cat /etc/os-release
# NAME="Demo-Class"
# VERSION="24.07 LTS (Demo)"
# ID=demo_linux
# PRETTY_NAME="Ubuntu 24.07.1 LTS"

ifconfig
# eth0  inet addr:172.17.0.2

最终镜像约 2.31MB,说明用 scratch + 自定义 rootfs 可以得到非常小的镜像。

二、docker registry 迁移镜像到 Harbor

1. registry 准备测试镜像

先把镜像 tag 到 registry 并 push:

docker tag demo-games:motuo-v0.1 10.0.0.101:5000/demo-games/motuo:v0.1
docker push 10.0.0.101:5000/demo-games/motuo:v0.1

docker tag demo-games:doudizhu-v0.1 10.0.0.101:5000/demo-games/doudizhu:v0.1
docker push 10.0.0.101:5000/demo-games/doudizhu:v0.1

docker push 10.0.0.101:5000/demo-db/mysql:8.3.0-oracle

第二次 push 同源镜像时,公共层会显示 Mounted from ...,因为层已经存在于 registry,不需要重复上传。

2. 访问 WebUI 验证

http://10.0.0.101:5000/v2/_catalog

3. 在 Harbor 中新建仓库

在 Harbor 的「仓库管理」里指定 docker registry 的信息(IP 地址、名称等)。

4. 新建复制规则

新建复制规则,指定从哪个 registry 同步镜像(迁移用 pull 方式从 registry 拉取)。

5. 验证并手动触发

  • 同步过来的镜像默认是私有项目,拉取前需要先 docker login;
  • 把项目设为公开后,无需登录即可直接拉取。

三、Harbor 镜像同步

1. 在 101 节点新建 Harbor

scp harbor-offline-installer-v2.7.4.tgz 10.0.0.101:~
tar xf harbor-offline-installer-v2.7.4.tgz -C /demo/softwares/

cd /demo/softwares/harbor/
cp harbor.yml{.tmpl,}
vim harbor.yml

关键配置:

hostname: 10.0.0.101

#https:
#  port: 443

harbor_admin_password: 1

data_volume: /demo/data/harbor

安装:

./install.sh --with-chartmuseum

2. 在 102 节点新建 Harbor

略,配置方式相同。

3. 在 102 节点新建复制规则

略,方向选择 push,把 101 的镜像同步过来。

4. 修改客户端配置

{
  "insecure-registries": ["10.0.0.101:5000", "harbor.example.com", "10.0.0.101"]
}
systemctl restart docker

5. 拉取 101 的镜像测试

docker pull 10.0.0.101/demo-linux/demo-class:v0.1

## 四、Harbor 高可用项目解决方案

课堂提到两种方案(细节见视频),核心思路都是让多个 Harbor 节点对外提供一个统一入口:

- 方案一:使用 keepalived 等工具实现 VIP 漂移,配合镜像复制保证数据一致;
- 方案二:通过负载均衡 / 反向代理(如 nginx、LVS)分发请求。

## 五、keepalived 实现 VIP 漂移

### 1. 安装 keepalived

两个节点都执行:

```bash
apt -y install keepalived

2. 101 节点配置(MASTER)

global_defs {
   router_id 10.0.0.101
}
vrrp_script chk_nginx {
    script "/etc/keepalived/check_port.sh 80"
    interval 2
    weight -20
}
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 101
    priority 100
    advert_int 1
    mcast_src_ip 10.0.0.101
    nopreempt
    authentication {
        auth_type PASS
        auth_pass demo_pass
    }
    track_script {
         chk_nginx
    }
    virtual_ipaddress {
        10.0.0.250
    }
}
systemctl restart keepalived
ip a
# ens33 上多出 inet 10.0.0.250/32

3. 102 节点配置(BACKUP)

global_defs {
   router_id 10.0.0.102
}
vrrp_script chk_nginx {
    script "/etc/keepalived/check_port.sh 80"
    interval 2
    weight -20
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 101
    priority 90
    advert_int 1
    mcast_src_ip 10.0.0.102
    authentication {
        auth_type PASS
        auth_pass demo_pass
    }
    track_script {
         chk_nginx
    }
    virtual_ipaddress {
        10.0.0.250
    }
}
systemctl restart keepalived
ip a
# 正常情况下 102 还没有 10.0.0.250

4. 验证 VIP 漂移

  1. 登录 Harbor,观察当前项目在 101 节点(VIP 在 101);
  2. 手动停止 101 的 keepalived:
systemctl stop keepalived
ip a
# 101 上的 10.0.0.250 消失
  1. 观察 102:
ip a
# 102 上出现 inet 10.0.0.250/32
  1. 再次访问 Harbor WebUI,发现已切换到 102 节点。

注意:两台节点的 virtual_router_id 必须一致,否则它们属于不同的 VRRP 组、无法正确协商 VIP;auth_pass 也要一致。

六、Harbor 部署 HTTPS(官方签发证书)

1. 准备证书目录并下载证书

cd /demo/softwares/harbor/
mkdir certs && cd certs

# 下载自己的签发证书(演示为讲师提供的证书)
wget http://<下载服务器>/softwares/example.com_nginx.zip

apt -y install unzip
unzip example.com_nginx.zip

解压后得到 .crt / .key / .pem 等文件。

2. 修改 harbor.yml

# 与证书域名完全一致
hostname: www.example.com

# 开启 https
https:
  port: 443
  certificate: /demo/softwares/harbor/certs/example.com_nginx/example.com_bundle.crt
  private_key: /demo/softwares/harbor/certs/example.com_nginx/example.com.key

3. 重新安装并访问

./install.sh --with-chartmuseum

访问:

https://www.example.com/harbor/projects

温馨提示:本地测试时要在 Windows 的 hosts 文件里加上 www.example.com 到 Harbor 节点 IP 的解析记录。

七、containerd 环境搭建

containerd 是一个高性能的容器运行时,Docker 底层也可以调用它。下面是脱离 Docker、独立搭建 containerd 的过程。

1. 卸载 docker

./install-docker.sh r

如果卸载脚本失败,建议重新准备一套干净的虚拟机。要求:不允许安装 docker。

2. 下载并解压 containerd

wget https://github.com/containerd/containerd/releases/download/v1.7.20/cri-containerd-cni-1.7.20-linux-amd64.tar.gz
# 内网可用:wget http://<下载服务器>/softwares/cri-containerd-cni-1.7.13-linux-amd64.tar.gz

tar xf cri-containerd-cni-1.7.13-linux-amd64.tar.gz

3. 拷贝运行时和 systemd 配置

cp usr/local/bin/containerd /usr/local/bin/
cp usr/local/bin/containerd-shim-runc-v2 /usr/bin/
cp usr/local/bin/ctr /usr/bin/
cp etc/systemd/system/containerd.service /usr/lib/systemd/system/

4. 生成并修改配置文件

mkdir /etc/containerd
containerd config default > /etc/containerd/config.toml

把 cgroup 交给 systemd 管理:

sed -ri 's#(SystemdCgroup = )false#\1true#' /etc/containerd/config.toml

修改 pause 基础镜像(国内源):

sed -i 's#registry.k8s.io/pause:3.8#registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.8#' /etc/containerd/config.toml

可选:添加私有仓库镜像配置:

[plugins."io.containerd.grpc.v1.cri".registry.mirrors."harbor.example.com"]
  endpoint = [
    "https://harbor.example.com"
  ]

5. 启动并验证

systemctl enable --now containerd
systemctl status containerd

ctr --version
ctr version

八、安装 runc

wget https://github.com/opencontainers/runc/releases/download/v1.1.12/runc.amd64
# 内网可用:wget http://<下载服务器>/softwares/runc.amd64

mv runc.amd64 /usr/bin/runc
chmod +x /usr/bin/runc

runc --version
# runc version 1.1.12

九、ctr 管理镜像

命令作用
ctr images ls查看镜像列表
ctr images pull <镜像>拉取镜像
ctr images mount <镜像> <目录>挂载镜像查看内容
ctr images export <tar> <镜像>导出镜像为 tar
ctr images rm <镜像>删除镜像
ctr images import <tar>导入镜像
ctr images tag <旧> <新>打标签
ctr images check检查镜像内容是否完整
ctr images ls

ctr images pull registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1

# 挂载镜像查看内容,查看完记得卸载
ctr images mount registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 /mnt/
ll /mnt/
umount /mnt

# 导出 / 导入
ctr images export --platform linux/amd64 demo-xiuxian-v1.tar.gz registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
ctr images rm registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1
ctr images import --platform linux/amd64 demo-xiuxian-v1.tar.gz

# 打标签
ctr images tag registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 10.0.0.101/demo-games/xiuxian:v1

# 检查
ctr images check

## 十、ctr 管理容器

containerd 里「容器」和「任务」是分开的:

- `container`:容器定义(镜像、配置等);
- `task`:真正运行起来的进程。

| 命令 | 作用 |
| --- | --- |
| `ctr containers create <镜像> <名称>` | 创建容器 |
| `ctr containers ls` | 查看容器列表 |
| `ctr containers info <名称>` | 查看容器详细信息 |
| `ctr task start -d <名称>` | 后台启动任务 |
| `ctr task ls` | 查看任务(含 PID) |
| `ctr task exec --exec-id <id> -t <名称> sh` | 进入容器执行命令 |
| `ctr tasks pause <名称>` | 暂停容器 |
| `ctr tasks resume <名称>` | 恢复容器 |
| `ctr task kill <名称>` | 停止容器 |
| `ctr task rm <名称>` | 删除已停止的任务 |
| `ctr task rm -f <名称>` | 强制删除(含运行中的) |

```bash
ctr containers create registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 xiuxian
ctr containers ls
ctr containers info xiuxian

ctr task start -d xiuxian
ctr task ls
# xiuxian  629615  RUNNING

# 查看容器主进程在宿主机的 PID
ps -ef | grep 629615

# 执行命令 / 进入容器
ctr task exec --exec-id 1 xiuxian ifconfig -a
ctr task exec --exec-id 2 -t xiuxian sh

# 用 --net-host 直接以宿主机网络运行(ctr 本地没有镜像时不会自动拉取)
ctr run -d --net-host registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 xiuxian2

# 暂停 / 恢复
ctr tasks pause xiuxian
ctr tasks resume xiuxian

# 停止 / 删除
ctr task kill xiuxian
ctr task rm xiuxian
ctr task rm -f xiuxian2

容器处于暂停状态时无法 exec;删除正在运行的任务需要加 -f。

十一、ctr 名称空间(namespace)

名称空间用于把镜像、容器等资源隔离到不同分组,类似一个独立的工作区。

命令作用
ctr ns ls查看名称空间
ctr ns create <名称>创建名称空间
ctr -n <名称> image pull <镜像>把镜像拉到指定名称空间
ctr -n <名称> image ls查看指定名称空间的镜像
ctr ns rm <名称>删除名称空间
ctr ns ls
ctr ns create demo-class

# 名称空间不存在时,-n 拉取会自动创建
ctr -n demo-class image pull registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
ctr -n demo-class image ls

删除名称空间前必须先清空:

ctr ns rm demo-class
# 报错:namespace must be empty ...

ctr -n demo-class i rm registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2
ctr ns rm demo-class

想要删除名称空间,该名称空间下必须是空的(镜像、快照等都要先删干净)。

十二、ctr 实现容器数据持久化

用 --mount type=bind 挂载宿主机目录:

# 创建宿主机目录
mkdir -pv /demo/games

# 创建容器并挂载:src=宿主机目录,dst=容器目录
ctr -n demo-class container create \
  --mount type=bind,src=/demo/games,dst=/usr/local/nginx/html,options=rbind:rw \
  registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v2 xiuxian

ctr -n demo-class task start -d xiuxian

验证挂载和写入:

cp /etc/os-release /demo/games/

ctr -n demo-class tasks exec --exec-id $RANDOM -t xiuxian sh
ls -l /usr/local/nginx/html
# 能看到 os-release

echo haha > /usr/local/nginx/html/haha.log
exit

删除容器后,宿主机数据仍在:

ctr -n demo-class tasks rm -f xiuxian
ctr -n demo-class container rm xiuxian

ll /demo/games/
# haha.log、os-release 仍然存在

## 十三、ctr 推送 / 拉取 Harbor 镜像

### 1. 在 config.toml 里配置私有仓库

```toml
[plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.0.0.101"]
  endpoint = [
    "http://10.0.0.101"
  ]
systemctl restart containerd

2. 打标签并推送

ctr i tag registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v1 10.0.0.101/demo-games/xiuxian:v1

# HTTP 仓库要加 --plain-http;-u 指定用户名密码
ctr images push --platform linux/amd64 --plain-http -u admin:1 10.0.0.101/demo-games/xiuxian:v1

3. 从 Harbor 拉取

ctr images pull --plain-http 10.0.0.101/demo-games/doudizhu:v0.1
ctr i ls

十四、Docker 集成 containerd

让 Docker 的 dockerd 使用已有 containerd 作为运行时。

1. 安装 docker 并修改启动脚本

./install-docker.sh i

/lib/systemd/system/docker.service 关键内容:

[Unit]
Description=demo linux Docker Engine
Documentation=https://docs.docker.com,https://www.example.com

[Service]
ExecStart=/usr/bin/dockerd --containerd /run/containerd/containerd.sock --debug
systemctl daemon-reload
systemctl restart docker

2. 观察 Docker 与 containerd 的对应关系

docker run -d --name c1 -p 81:80 registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v3

ctr ns ls
# 多出一个 moby 名称空间(Docker 使用的)

ctr -n moby task ls
# 能看到 Docker 容器对应的 task 和 PID

docker inspect -f "{{.State.Pid}}" c1
# PID 与 ctr -n moby task ls 中的一致

删除 Docker 容器后,对应的 containerd task 也一起消失:

docker container rm -f `docker container ps -qa`
ctr -n moby task ls
# 为空

3. Docker 数据卷与 containerd

docker run -d --name c1 -p 81:80 -v /demo-data registry.cn-hangzhou.aliyuncs.com/demo-k8s/apps:v3

docker inspect -f "{{range .Mounts}}{{.Source}}{{end}}" c1
# /var/lib/docker/volumes/<id>/_data

cp /etc/fstab /var/lib/docker/volumes/<id>/_data

ctr -n moby task exec -t --exec-id $RANDOM <容器ID> sh
ls /demo-data/
# fstab

十五、总结

  1. FROM scratch 表示不引用基础镜像,配合自定义 rootfs 可以做出极小的镜像;
  2. registry 迁移到 Harbor 靠「仓库 + 复制规则」实现,默认同步为私有项目,设为公开后无需登录即可拉取;
  3. Harbor 高可用常用 keepalived 做 VIP 漂移,两台节点 virtual_router_id 必须一致;
  4. Harbor HTTPS 要配置与证书域名一致的 hostname,以及正确的证书和私钥路径;
  5. containerd 是高性能容器运行时,ctr 是它的命令行客户端,核心对象有镜像、容器、任务、名称空间;
  6. ctr 里 container 与 task 分离:先创建容器,再启动任务;删除运行中的任务要 -f;
  7. 删除名称空间前必须先清空其中的镜像和快照;
  8. ctr 用 --mount type=bind 实现数据持久化,容器删除后宿主机数据保留;
  9. 推拉 HTTP 私有仓库用 --plain-http,带认证用 -u admin:1;
  10. Docker 集成 containerd 后,Docker 容器会出现在 moby 名称空间,task 的 PID 与 docker inspect 一致。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!