3
0

Docker 网络与资源隔离实践

2026-10-25
Docker 网络与资源隔离实践

本文整理 Docker 单机自定义网络、跨主机网络(macvlan / overlay)以及 Linux namespace、cgroups 的实践内容。示例中的 IP、密码和镜像地址均为演示值,请按实际环境替换。

一、网络基础回顾

1. 单机网络类型

类型

说明

典型场景

none

不为容器配置网络

离线计算、完全隔离

host

与宿主机共享网络命名空间

高性能、直接使用宿主端口

bridge

默认的 docker0 网桥

单机默认网络

container

共享另一个容器的网络命名空间

sidecar、网络调试

自定义网络

用户创建的 bridge 网络

单机多容器协作

自定义 bridge 网络内置 DNS,同一网络内的容器可以直接用容器名互相访问;默认 bridge 网络不具备这个能力。

2. 查看现有网络

docker network ls

默认会有 bridge、host、none 三个网络。

二、单机自定义网络

1. 创建和查看网络

# 创建
docker network create app-net
​
# 查看列表
docker network ls
​
# 查看详情
docker network inspect app-net

重点看 IPAM.Config 中的子网和网关:

Subnet:  172.19.0.0/16
Gateway: 172.19.0.1

2. 启动容器并加入网络

docker run -d --name c1 --network app-net example/apps:v1
docker run -d --name c2 --network app-net example/apps:v1

查看容器 IP:

docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' c1
# 172.19.0.2
​
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' c2
# 172.19.0.3

3. 用容器名互相访问

docker exec c1 ping c2 -c 3

结果示例:

PING c2 (172.19.0.3): 56 data bytes
64 bytes from 172.19.0.3: seq=0 ttl=64 time=0.134 ms
3 packets transmitted, 3 packets received, 0% packet loss

这说明自定义网络提供了容器名解析。

4. 删除网络

# 删除所有未被使用的自定义网络
docker network prune -f
​
# 删除指定网络
docker network rm net-a net-b

默认的 none、host、bridge 不能被删除。

5. 自定义子网、网关和 IP 范围

docker network create -d bridge \
  --subnet 172.21.0.0/16 \
  --ip-range 172.21.100.0/24 \
  --gateway 172.21.0.254 \
  custom-net

查看配置:

docker network inspect custom-net

关键字段:

Subnet:  172.21.0.0/16
IPRange: 172.21.100.0/24
Gateway: 172.21.0.254

在自定义网络中启动容器:

docker run -d --name c1 --network custom-net example/apps:v1
docker run -d --name c2 --network custom-net example/apps:v1

手动指定 IP:

docker run -d --name c3 \
  --network custom-net \
  --ip 172.21.1.102 \
  example/apps:v1

--ip 地址必须落在网络子网内,并且不能与已有容器冲突。

验证连通性:

docker exec c3 ping c1 -c 3

三、一个容器加入多个网络

1. 创建两个不同网段的网络

docker network create -d bridge \
  --subnet 172.21.0.0/16 \
  --ip-range 172.21.100.0/24 \
  --gateway 172.21.0.254 \
  net-a
​
docker network create -d bridge \
  --subnet 172.22.0.0/16 \
  --ip-range 172.22.100.0/24 \
  --gateway 172.22.0.254 \
  net-b

2. 两个容器分别加入不同网络

docker run -d --name c1 --network net-a example/apps:v1
docker run -d --name c2 --network net-b example/apps:v1

此时 c1 和 c2 不在同一个网络:

docker exec c1 ping c2
# ping: bad address 'c2'
​
docker exec c1 ping 172.22.100.10 -c 3
# 100% packet loss

3. 把 c1 再加入 net-b

docker network connect net-b c1
docker exec c1 ifconfig

c1 现在有两块网卡:

eth0  172.21.100.10
eth1  172.22.100.11

容器实际拿到的地址以 docker inspect 为准;示例中避开了网络地址和广播地址。

再次测试:

docker exec c1 ping c2 -c 3
# 3 packets transmitted, 3 received, 0% packet loss

断开某个网络:

docker network disconnect net-b c1

一个容器可以同时连接多个网络,但每个网络会占用一块独立网卡,并分配对应的 IP。

四、用自定义网络部署 Zabbix

1. 创建专用网络

docker network create \
  --subnet 172.20.0.0/16 \
  --ip-range 172.20.240.0/20 \
  zabbix-net

2. 导入镜像

wget http://<download-server>/zabbix-java-gateway-alpine-6.4.tar.gz
wget http://<download-server>/zabbix-server-mysql-alpine-6.4.tar.gz
wget http://<download-server>/zabbix-web-alpine-6.4.tar.gz
​
for f in zabbix-*.tar.gz; do
  docker load -i "$f"
done

3. 启动 MySQL

docker run --name mysql-server \
  -e MYSQL_DATABASE="zabbix" \
  -e MYSQL_USER="appuser" \
  -e MYSQL_PASSWORD="app123456" \
  -e MYSQL_ROOT_PASSWORD="root123456" \
  --network=zabbix-net \
  --restart unless-stopped \
  -d mysql:8.3.0-oracle \
  --character-set-server=utf8 \
  --collation-server=utf8_bin \
  --default-authentication-plugin=mysql_native_password

生产环境建议增加数据卷,例如 -v zabbix-db:/var/lib/mysql,否则容器删除后数据库数据会丢失。

4. 启动 Java Gateway

docker run --name zabbix-java-gateway \
  --network=zabbix-net \
  --restart unless-stopped \
  -d zabbix/zabbix-java-gateway:alpine-6.4-latest

5. 启动 Zabbix Server

docker run --name zabbix-server-mysql \
  -e DB_SERVER_HOST="mysql-server" \
  -e MYSQL_DATABASE="zabbix" \
  -e MYSQL_USER="appuser" \
  -e MYSQL_PASSWORD="app123456" \
  -e MYSQL_ROOT_PASSWORD="root123456" \
  -e ZBX_JAVAGATEWAY="zabbix-java-gateway" \
  --network=zabbix-net \
  -p 10051:10051 \
  --restart unless-stopped \
  -d zabbix/zabbix-server-mysql:alpine-6.4-latest

6. 启动 Zabbix Web

docker run --name zabbix-web-nginx-mysql \
  -e ZBX_SERVER_HOST="zabbix-server-mysql" \
  -e DB_SERVER_HOST="mysql-server" \
  -e MYSQL_DATABASE="zabbix" \
  -e MYSQL_USER="appuser" \
  -e MYSQL_PASSWORD="app123456" \
  -e MYSQL_ROOT_PASSWORD="root123456" \
  --network=zabbix-net \
  -p 80:8080 \
  --restart unless-stopped \
  -d zabbix/zabbix-web-nginx-mysql:alpine-6.4-latest

浏览器访问 http://10.0.0.102/。

组件关系:

组件

容器名

端口

MySQL

mysql-server

3306(仅网络内)

Java Gateway

zabbix-java-gateway

10052(仅网络内)

Zabbix Server

zabbix-server-mysql

10051

Zabbix Web

zabbix-web-nginx-mysql

80 → 容器 8080

由于所有组件都在 zabbix-net 中,可以直接用容器名作为主机名,不需要写容器 IP。

五、用自定义网络部署 WordPress

# 创建网络
docker network create \
  --subnet 172.21.0.0/16 \
  --ip-range 172.21.100.0/24 \
  wp-net
​
# 数据库
docker run --name db-wp \
  -e MYSQL_ALLOW_EMPTY_PASSWORD=yes \
  -e MYSQL_DATABASE=wordpress \
  -e MYSQL_USER=appuser \
  -e MYSQL_PASSWORD=123456 \
  -v wp-data:/var/lib/mysql \
  -d \
  --network wp-net \
  mysql:8.3.0-oracle
​
# WordPress
docker run -d --name wp \
  -e WORDPRESS_DB_HOST=db-wp \
  -e WORDPRESS_DB_USER=appuser \
  -e WORDPRESS_DB_PASSWORD=123456 \
  -e WORDPRESS_DB_NAME=wordpress \
  -p 88:80 \
  -v wp-html:/var/www/html/ \
  --network wp-net \
  wordpress

测试:

curl -I 10.0.0.102:88

示例结果:

HTTP/1.1 301 Moved Permanently
Location: http://10.0.0.102/
Server: Apache/2.4.51 (Debian)

wp-data 和 wp-html 是命名卷,用于持久化数据库和 WordPress 文件。

示例中的空密码仅用于实验环境;生产环境请使用强密码,并避免把数据库端口直接暴露到公网。

六、跨主机网络:macvlan

1. 原理

macvlan 让容器直接使用宿主物理网卡的二层网络,每个容器拥有独立的 MAC 地址和 IP,看起来像局域网中的一台真实主机。

2. 加载内核模块

两台节点都要确认模块可用:

lsmod | grep macvlan
modprobe macvlan
lsmod | grep macvlan

3. 两台节点创建同名、同网段的 macvlan 网络

docker network create -d macvlan \
  --subnet 172.29.0.0/16 \
  --gateway 172.29.0.254 \
  -o parent=ens33 \
  macvlan-net

parent=ens33 要换成实际的物理网卡名;两台节点的网络参数必须一致。

4. 在两个节点分别启动容器

节点 10.0.0.101:

docker run -d -it --name c1 \
  --network macvlan-net \
  --ip 172.29.0.101 \
  example/apps:v1

节点 10.0.0.102:

docker run -d -it --name c2 \
  --network macvlan-net \
  --ip 172.29.0.102 \
  example/apps:v1

5. 测试跨主机通信

docker exec c2 ping 172.29.0.101 -c 3

结果:

64 bytes from 172.29.0.101: seq=0 ttl=64 time=1.270 ms
3 packets transmitted, 3 received, 0% packet loss

跨节点通信正常,但容器默认无法访问外网:

docker exec c2 ping baidu.com -c 3
# 100% packet loss

6. 解决 macvlan 无法访问外网

给容器再连接一个 bridge 网络:

docker network connect bridge c2
docker exec c2 ifconfig

此时容器会有两块网卡:

eth0  172.29.0.102  (macvlan)
eth1  172.17.0.2    (bridge)

再次测试:

docker exec c2 ping baidu.com -c 3
# 3 packets transmitted, 3 received, 0% packet loss

7. macvlan 优缺点

优点

说明

Docker 原生支持

不需要额外插件,加载内核模块即可

二层直通

容器像局域网真实主机,跨主机通信简单

适合小规模

1–3 台节点时配置直观

缺点

说明

需要手动分配 IP

自动分配容易在多主机间产生地址冲突

默认不能访问宿主机和外网

需要额外连接 bridge 网络

绑定物理网卡

切换网段前要先清理旧的 macvlan 网络

建议不要在同一父网卡上同时保留多个不同网段的 macvlan 网络;切换网段前先删除旧网络,并在节点上核对路由。

8. 用 macvlan 跨主机部署 WordPress

两台节点都创建:

docker network create -d macvlan \
  --subnet 172.22.0.0/16 \
  --gateway 172.22.0.254 \
  -o parent=ens33 \
  wordpress-net

数据库节点:

docker run --name db-wp \
  -e MYSQL_ALLOW_EMPTY_PASSWORD=yes \
  -e MYSQL_DATABASE=wordpress \
  -e MYSQL_USER=appuser \
  -e MYSQL_PASSWORD=123456 \
  -v wp-data:/var/lib/mysql \
  -d \
  --network wordpress-net \
  --ip 172.22.100.36 \
  mysql:8.3.0-oracle

WordPress 节点:

docker run -d --name wp \
  -e WORDPRESS_DB_HOST=172.22.100.36 \
  -e WORDPRESS_DB_USER=appuser \
  -e WORDPRESS_DB_PASSWORD=123456 \
  -e WORDPRESS_DB_NAME=wordpress \
  -p 88:80 \
  -v wp-html:/var/www/html/ \
  --ip 172.22.100.37 \
  --network wordpress-net \
  wordpress

让 WordPress 访问外网:

docker network connect bridge wp
docker ps
ss -ntl | grep 88

9. 网络调试小技巧

查看容器所有网络 IP:

docker container inspect -f \
  '{{range .NetworkSettings.Networks}} {{.IPAddress}} {{end}}' \
  `docker container ps -lq`

启动一个临时容器,共享目标容器的网络命名空间:

docker run -it --rm \
  --network container:wp \
  example/apps:v1 sh

进入后可以直接测试 wp 所在网络的 DNS、路由和连通性,排查问题很方便。

七、跨主机网络:overlay

版本提示:本节使用的是旧版 Docker 经典 Swarm + Consul 的 overlay 方案。cluster-store 和 cluster-advertise 在新版 Docker 中已不再推荐或不可用。现代环境请使用 Docker Swarm mode(docker swarm init)或 Kubernetes/CNI;下面的命令主要用于理解 overlay 的工作原理。

1. 部署 Consul

在 10.0.0.101 上部署 Consul:

docker run -d \
  --network host \
  --restart always \
  --name=dev-consul \
  -e CONSUL_BIND_INTERFACE=ens33 \
  consul:1.15.4

如果网卡名不是 ens33,需要改成实际名称(例如 eth0)。

检查端口:

ss -ntl | grep 8500

Web UI:

http://10.0.0.101:8500/ui/dc1/kv/docker/nodes/

2. 配置两个节点的 Docker

节点 10.0.0.101 的 /etc/docker/daemon.json:

{
  "cluster-store": "consul://10.0.0.101:8500",
  "cluster-advertise": "10.0.0.101:6666"
}

节点 10.0.0.102 的 /etc/docker/daemon.json:

{
  "cluster-store": "consul://10.0.0.101:8500",
  "cluster-advertise": "10.0.0.102:8888"
}

分别重启 Docker:

systemctl restart docker

重启 Docker 会停止没有设置重启策略的容器,生产环境操作前要先确认影响范围。

3. 创建 overlay 网络

在任意一个客户端节点执行:

docker network create -d overlay \
  --subnet 172.30.0.0/16 \
  --gateway 172.30.0.254 \
  overlay-net

另一个节点会自动同步:

docker network ls
# overlay-net   overlay   global

4. 两个节点分别启动容器

节点 10.0.0.102:

docker run --rm -it --name c1 \
  --network overlay-net \
  example/apps:v1 sh

节点 10.0.0.101:

docker run --rm -it --name c2 \
  --network overlay-net \
  example/apps:v1 sh

查看 IP:

c1: 172.30.0.1
c2: 172.30.0.2

跨主机测试:

ping 172.30.0.1 -c 3
# 3 packets transmitted, 3 received, 0% packet loss

overlay 网络默认可以访问外网:

ping baidu.com -c 3

5. 验证 VXLAN

# 观察访问外网的 ICMP(经 docker_gwbridge)
tcpdump -i docker_gwbridge -nn icmp
​
# 观察跨主机 VXLAN 封装(默认 UDP 4789)
tcpdump -i ens33 -nn udp port 4789

可以观察到:

  • 跨主机容器通信通过 vxlan 封装,走物理网卡 eth0 / ens33;

  • 访问外网的流量走 docker_gwbridge,由宿主机做 NAT;

  • 如果 overlay 使用了不同的 VXLAN 端口,按实际端口调整抓包过滤条件。

6. 常见错误

endpoint with name c1 already exists in network overlay-net

原因:该 overlay 网络中已经存在同名容器,容器名不能重复。

解决:修改容器名,或先删除旧容器。

八、macvlan 与 overlay 对比

对比项

macvlan

overlay

通信方式

二层直通,容器像局域网主机

VXLAN 封装,跨主机三层互联

是否依赖插件

内核原生模块

旧方案依赖 Consul;现代用 Swarm/K8s

IP 分配

通常手动指定

自动分配

默认访问外网

不能,需要额外 bridge

可以

容器名解析

不提供跨主机解析

可通过服务发现/编排平台实现

适用场景

小规模、需要固定 IP、二层网络

大规模跨主机、动态编排

Docker 原生网络的局限

  1. 容器重建后 IP 可能变化,配置文件里写死 IP 会导致服务不可用;

  2. macvlan 跨主机没有内置 DNS,需要依赖外部 DNS 或服务发现;

  3. 旧版 overlay 依赖 Consul,维护成本较高;

  4. 大规模生产环境通常交给 Swarm、Kubernetes 或 CNI 插件管理。

九、Linux namespace 资源隔离

1. namespace 类型

类型

隔离内容

IPC

进程间通信

MNT

文件系统、挂载点

NET

网络设备、协议栈、端口

PID

进程 ID

User

用户和用户组

UTS

主机名和域名

2. NET namespace 实验

创建命名空间:

ip netns add demo-ns
ls -l /var/run/netns/demo-ns
ip netns exec demo-ns ip a

刚创建时只有 lo,而且默认是 down 状态:

ip netns exec demo-ns ping 127.0.0.1
ip netns exec demo-ns ifconfig lo up
ip netns exec demo-ns ping 127.0.0.1

创建一对 veth 网卡:

ip link add veth100 type veth peer name veth200
ip a

把 veth200 放入命名空间:

ip link set veth200 netns demo-ns
ip a

给命名空间内的网卡配 IP:

ip netns exec demo-ns ifconfig veth200 172.31.100.200/24 up
ip netns exec demo-ns ip a

给宿主机的 veth100 配 IP:

ifconfig veth100 172.31.100.100/24 up
ping 172.31.100.200

从命名空间访问宿主机:

ip netns exec demo-ns ping 172.31.100.100

如果没有默认网关,访问其他网段会失败:

ip netns exec demo-ns ping 10.0.0.102
# 失败
​
ip netns exec demo-ns route add default gw 172.31.100.100
ip netns exec demo-ns ping 10.0.0.102
# 成功

此时仍然不能直接访问外网,因为没有配置 DNS 和 NAT:

ip netns exec demo-ns ping baidu.com

抓包:

tcpdump -i veth100 -nn icmp

清理实验环境:

ls -l /var/run/netns/
ip netns del demo-ns
ip link del veth100

3. 验证 Docker 使用 net namespace

启动容器:

docker run -d --name c1 example/apps:v1

宿主机看到的是一对 veth:

ip a
# vethxxxx@if40 ... master docker0

容器内看到的是独立的 eth0:

docker exec -it c1 ip a
# eth0@if41  172.17.0.2/16

这正是 veth pair + network namespace 的效果。

4. 两个容器共享网络命名空间

启动两个容器,第二个共享第一个的网络:

docker run -id --name c1 example/apps:v1 sh
docker run -id --name c2 \
  --network container:c1 \
  example/apps:v1 sh

查看两个容器的网络:

docker exec c1 ifconfig
docker exec c2 ifconfig

两者看到完全相同的 eth0 和 IP。

查看 PID:

docker inspect -f '{{.State.Pid}}' c1
docker inspect -f '{{.State.Pid}}' c2

对比 /proc/<pid>/ns/net:

ls -l /proc/153340/ns/net
ls -l /proc/153417/ns/net

两个进程的 net 指向同一个 namespace,而 ipc、mnt、pid、uts 等并不相同。

再验证文件系统隔离:

docker exec c1 adduser -D demo
docker exec c1 id demo
# uid=1000(demo) ...
​
docker exec c2 id demo
# id: unknown user demo

说明共享网络命名空间不等于共享整个容器环境。

十、Linux cgroups 资源限制

1. cgroups 能控制什么

子系统

作用

cpu

限制 CPU 使用率

cpuacct

统计 CPU 使用情况

cpuset

绑定 CPU 节点或内存节点

memory

限制内存使用量

blkio

限制块设备 I/O

devices

控制设备访问

net_cls

标记网络数据包,配合 tc 限速

net_prio

设置网络流量优先级

freezer

挂起或恢复进程

ns

配合 namespace 使用

hugetlb

限制大页内存

2. 手动限制 CPU(cgroup v1)

查看挂载:

mount -t cgroup

创建限制组:

cd /sys/fs/cgroup/cpu
mkdir demo-cgroup
ls demo-cgroup

安装并运行压力测试:

apt -y install stress
stress -c 4 -v -t 20m

限制到 30% CPU:

cd /sys/fs/cgroup/cpu/demo-cgroup
echo 30000 > cpu.cfs_quota_us

把进程加入限制组:

ps -ef | grep stress | grep -v grep
​
# 下面的 PID 用上一条命令查到的 stress 进程号替换
echo 9862 >> tasks
echo 9863 >> tasks
echo 9864 >> tasks
echo 9865 >> tasks
echo 9866 >> tasks

cpu.cfs_quota_us=30000 配合默认周期 100000,表示限制为单核的 30%。

现代发行版多数使用 cgroup v2,/sys/fs/cgroup/cpu/... 和 cpu.cfs_quota_us 可能不存在;Docker 的 --cpus、--memory 参数仍然可用。

3. Docker 资源限制

启动受限容器:

docker run -id \
  --cpu-quota 30000 \
  -m 200m \
  --name c1 \
  example/linux-tools:v0.1 sh

启动不受限容器:

docker run -id --name c2 example/linux-tools:v0.1 sh

查看资源:

docker stats c1 c2 --no-stream

不受限的 c2:

MEM USAGE / LIMIT
1.426MiB / 3.81GiB

受限的 c1:

MEM USAGE / LIMIT
1.176MiB / 200MiB

4. CPU 压力测试

终端一:

docker exec c1 stress -c 4 -v -t 20m

终端二:

docker stats c1

CPU 使用率稳定在约 29%:

CPU %     MEM USAGE / LIMIT
28.84%    1.973MiB / 200MiB

5. 内存压力测试

docker exec c1 stress \
  --cpu 8 \
  --io 4 \
  --vm 2 \
  --vm-bytes 128M \
  --timeout 10m

观察:

docker stats c1

内存接近上限:

CPU %     MEM USAGE / LIMIT      MEM %
29.56%    199.8MiB / 200MiB      99.88%

容器超过内存限制时可能被 OOM Killer 终止,可以用 docker inspect 查看 OOMKilled 状态。

6. 在线修改资源限制

对已经运行的容器调整 CPU 和内存:

docker container update \
  --cpu-quota 20000 \
  -m 200m \
  --memory-swap 200m \
  c2

再次查看:

docker stats c2

调整后,c2 的 CPU 被限制到约 20%,内存上限变为 200MiB。

也可以使用更直观的 --cpus 0.2,它等价于 20% 的单核 CPU。--memory-swap 等于 --memory 时表示禁用 swap。

十一、总结与命令速查

1. 网络方案选择

场景

推荐方案

单机多容器协作

自定义 bridge 网络

需要固定 IP、二层直通

macvlan

跨主机动态编排

overlay + Swarm/Kubernetes

调试容器网络

共享网络命名空间 + 临时容器

2. 网络命令

命令

作用

docker network ls

查看网络

docker network create

创建网络

docker network inspect

查看网络详情

docker network connect

容器加入网络

docker network disconnect

容器断开网络

docker network rm

删除网络

docker network prune

清理未使用网络

3. 资源限制命令

docker run --cpus 0.5 -m 512m nginx
docker stats <container> --no-stream
docker container update --cpus 0.2 -m 200m <container>
docker inspect <container> | grep -i oom

4. 核心结论

  1. 自定义 bridge 网络支持容器名解析,适合单机服务编排;

  2. macvlan 适合小规模、固定 IP 的二层网络,但默认不能访问宿主机和外网;

  3. overlay 使用 VXLAN 实现跨主机通信,现代环境建议使用 Swarm 或 Kubernetes;

  4. namespace 负责隔离,cgroups 负责资源限制,两者共同构成容器的基础;

  5. 生产环境不要写死容器 IP,优先使用服务名和编排平台的服务发现。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!