Docker 网络与资源隔离实践
本文整理 Docker 单机自定义网络、跨主机网络(macvlan / overlay)以及 Linux namespace、cgroups 的实践内容。示例中的 IP、密码和镜像地址均为演示值,请按实际环境替换。
一、网络基础回顾
1. 单机网络类型
自定义 bridge 网络内置 DNS,同一网络内的容器可以直接用容器名互相访问;默认 bridge 网络不具备这个能力。
2. 查看现有网络
docker network ls默认会有 bridge、host、none 三个网络。
二、单机自定义网络
1. 创建和查看网络
# 创建
docker network create app-net
# 查看列表
docker network ls
# 查看详情
docker network inspect app-net重点看 IPAM.Config 中的子网和网关:
Subnet: 172.19.0.0/16
Gateway: 172.19.0.12. 启动容器并加入网络
docker run -d --name c1 --network app-net example/apps:v1
docker run -d --name c2 --network app-net example/apps:v1查看容器 IP:
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' c1
# 172.19.0.2
docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' c2
# 172.19.0.33. 用容器名互相访问
docker exec c1 ping c2 -c 3结果示例:
PING c2 (172.19.0.3): 56 data bytes
64 bytes from 172.19.0.3: seq=0 ttl=64 time=0.134 ms
3 packets transmitted, 3 packets received, 0% packet loss这说明自定义网络提供了容器名解析。
4. 删除网络
# 删除所有未被使用的自定义网络
docker network prune -f
# 删除指定网络
docker network rm net-a net-b默认的 none、host、bridge 不能被删除。
5. 自定义子网、网关和 IP 范围
docker network create -d bridge \
--subnet 172.21.0.0/16 \
--ip-range 172.21.100.0/24 \
--gateway 172.21.0.254 \
custom-net查看配置:
docker network inspect custom-net关键字段:
Subnet: 172.21.0.0/16
IPRange: 172.21.100.0/24
Gateway: 172.21.0.254在自定义网络中启动容器:
docker run -d --name c1 --network custom-net example/apps:v1
docker run -d --name c2 --network custom-net example/apps:v1手动指定 IP:
docker run -d --name c3 \
--network custom-net \
--ip 172.21.1.102 \
example/apps:v1
--ip地址必须落在网络子网内,并且不能与已有容器冲突。
验证连通性:
docker exec c3 ping c1 -c 3三、一个容器加入多个网络
1. 创建两个不同网段的网络
docker network create -d bridge \
--subnet 172.21.0.0/16 \
--ip-range 172.21.100.0/24 \
--gateway 172.21.0.254 \
net-a
docker network create -d bridge \
--subnet 172.22.0.0/16 \
--ip-range 172.22.100.0/24 \
--gateway 172.22.0.254 \
net-b2. 两个容器分别加入不同网络
docker run -d --name c1 --network net-a example/apps:v1
docker run -d --name c2 --network net-b example/apps:v1此时 c1 和 c2 不在同一个网络:
docker exec c1 ping c2
# ping: bad address 'c2'
docker exec c1 ping 172.22.100.10 -c 3
# 100% packet loss3. 把 c1 再加入 net-b
docker network connect net-b c1
docker exec c1 ifconfigc1 现在有两块网卡:
eth0 172.21.100.10
eth1 172.22.100.11容器实际拿到的地址以
docker inspect为准;示例中避开了网络地址和广播地址。
再次测试:
docker exec c1 ping c2 -c 3
# 3 packets transmitted, 3 received, 0% packet loss断开某个网络:
docker network disconnect net-b c1一个容器可以同时连接多个网络,但每个网络会占用一块独立网卡,并分配对应的 IP。
四、用自定义网络部署 Zabbix
1. 创建专用网络
docker network create \
--subnet 172.20.0.0/16 \
--ip-range 172.20.240.0/20 \
zabbix-net2. 导入镜像
wget http://<download-server>/zabbix-java-gateway-alpine-6.4.tar.gz
wget http://<download-server>/zabbix-server-mysql-alpine-6.4.tar.gz
wget http://<download-server>/zabbix-web-alpine-6.4.tar.gz
for f in zabbix-*.tar.gz; do
docker load -i "$f"
done3. 启动 MySQL
docker run --name mysql-server \
-e MYSQL_DATABASE="zabbix" \
-e MYSQL_USER="appuser" \
-e MYSQL_PASSWORD="app123456" \
-e MYSQL_ROOT_PASSWORD="root123456" \
--network=zabbix-net \
--restart unless-stopped \
-d mysql:8.3.0-oracle \
--character-set-server=utf8 \
--collation-server=utf8_bin \
--default-authentication-plugin=mysql_native_password生产环境建议增加数据卷,例如
-v zabbix-db:/var/lib/mysql,否则容器删除后数据库数据会丢失。
4. 启动 Java Gateway
docker run --name zabbix-java-gateway \
--network=zabbix-net \
--restart unless-stopped \
-d zabbix/zabbix-java-gateway:alpine-6.4-latest5. 启动 Zabbix Server
docker run --name zabbix-server-mysql \
-e DB_SERVER_HOST="mysql-server" \
-e MYSQL_DATABASE="zabbix" \
-e MYSQL_USER="appuser" \
-e MYSQL_PASSWORD="app123456" \
-e MYSQL_ROOT_PASSWORD="root123456" \
-e ZBX_JAVAGATEWAY="zabbix-java-gateway" \
--network=zabbix-net \
-p 10051:10051 \
--restart unless-stopped \
-d zabbix/zabbix-server-mysql:alpine-6.4-latest6. 启动 Zabbix Web
docker run --name zabbix-web-nginx-mysql \
-e ZBX_SERVER_HOST="zabbix-server-mysql" \
-e DB_SERVER_HOST="mysql-server" \
-e MYSQL_DATABASE="zabbix" \
-e MYSQL_USER="appuser" \
-e MYSQL_PASSWORD="app123456" \
-e MYSQL_ROOT_PASSWORD="root123456" \
--network=zabbix-net \
-p 80:8080 \
--restart unless-stopped \
-d zabbix/zabbix-web-nginx-mysql:alpine-6.4-latest浏览器访问 http://10.0.0.102/。
组件关系:
由于所有组件都在 zabbix-net 中,可以直接用容器名作为主机名,不需要写容器 IP。
五、用自定义网络部署 WordPress
# 创建网络
docker network create \
--subnet 172.21.0.0/16 \
--ip-range 172.21.100.0/24 \
wp-net
# 数据库
docker run --name db-wp \
-e MYSQL_ALLOW_EMPTY_PASSWORD=yes \
-e MYSQL_DATABASE=wordpress \
-e MYSQL_USER=appuser \
-e MYSQL_PASSWORD=123456 \
-v wp-data:/var/lib/mysql \
-d \
--network wp-net \
mysql:8.3.0-oracle
# WordPress
docker run -d --name wp \
-e WORDPRESS_DB_HOST=db-wp \
-e WORDPRESS_DB_USER=appuser \
-e WORDPRESS_DB_PASSWORD=123456 \
-e WORDPRESS_DB_NAME=wordpress \
-p 88:80 \
-v wp-html:/var/www/html/ \
--network wp-net \
wordpress测试:
curl -I 10.0.0.102:88示例结果:
HTTP/1.1 301 Moved Permanently
Location: http://10.0.0.102/
Server: Apache/2.4.51 (Debian)
wp-data和wp-html是命名卷,用于持久化数据库和 WordPress 文件。
示例中的空密码仅用于实验环境;生产环境请使用强密码,并避免把数据库端口直接暴露到公网。
六、跨主机网络:macvlan
1. 原理
macvlan 让容器直接使用宿主物理网卡的二层网络,每个容器拥有独立的 MAC 地址和 IP,看起来像局域网中的一台真实主机。
2. 加载内核模块
两台节点都要确认模块可用:
lsmod | grep macvlan
modprobe macvlan
lsmod | grep macvlan3. 两台节点创建同名、同网段的 macvlan 网络
docker network create -d macvlan \
--subnet 172.29.0.0/16 \
--gateway 172.29.0.254 \
-o parent=ens33 \
macvlan-net
parent=ens33要换成实际的物理网卡名;两台节点的网络参数必须一致。
4. 在两个节点分别启动容器
节点 10.0.0.101:
docker run -d -it --name c1 \
--network macvlan-net \
--ip 172.29.0.101 \
example/apps:v1节点 10.0.0.102:
docker run -d -it --name c2 \
--network macvlan-net \
--ip 172.29.0.102 \
example/apps:v15. 测试跨主机通信
docker exec c2 ping 172.29.0.101 -c 3结果:
64 bytes from 172.29.0.101: seq=0 ttl=64 time=1.270 ms
3 packets transmitted, 3 received, 0% packet loss跨节点通信正常,但容器默认无法访问外网:
docker exec c2 ping baidu.com -c 3
# 100% packet loss6. 解决 macvlan 无法访问外网
给容器再连接一个 bridge 网络:
docker network connect bridge c2
docker exec c2 ifconfig此时容器会有两块网卡:
eth0 172.29.0.102 (macvlan)
eth1 172.17.0.2 (bridge)再次测试:
docker exec c2 ping baidu.com -c 3
# 3 packets transmitted, 3 received, 0% packet loss7. macvlan 优缺点
建议不要在同一父网卡上同时保留多个不同网段的 macvlan 网络;切换网段前先删除旧网络,并在节点上核对路由。
8. 用 macvlan 跨主机部署 WordPress
两台节点都创建:
docker network create -d macvlan \
--subnet 172.22.0.0/16 \
--gateway 172.22.0.254 \
-o parent=ens33 \
wordpress-net数据库节点:
docker run --name db-wp \
-e MYSQL_ALLOW_EMPTY_PASSWORD=yes \
-e MYSQL_DATABASE=wordpress \
-e MYSQL_USER=appuser \
-e MYSQL_PASSWORD=123456 \
-v wp-data:/var/lib/mysql \
-d \
--network wordpress-net \
--ip 172.22.100.36 \
mysql:8.3.0-oracleWordPress 节点:
docker run -d --name wp \
-e WORDPRESS_DB_HOST=172.22.100.36 \
-e WORDPRESS_DB_USER=appuser \
-e WORDPRESS_DB_PASSWORD=123456 \
-e WORDPRESS_DB_NAME=wordpress \
-p 88:80 \
-v wp-html:/var/www/html/ \
--ip 172.22.100.37 \
--network wordpress-net \
wordpress让 WordPress 访问外网:
docker network connect bridge wp
docker ps
ss -ntl | grep 889. 网络调试小技巧
查看容器所有网络 IP:
docker container inspect -f \
'{{range .NetworkSettings.Networks}} {{.IPAddress}} {{end}}' \
`docker container ps -lq`启动一个临时容器,共享目标容器的网络命名空间:
docker run -it --rm \
--network container:wp \
example/apps:v1 sh进入后可以直接测试 wp 所在网络的 DNS、路由和连通性,排查问题很方便。
七、跨主机网络:overlay
版本提示:本节使用的是旧版 Docker 经典 Swarm + Consul 的 overlay 方案。
cluster-store和cluster-advertise在新版 Docker 中已不再推荐或不可用。现代环境请使用 Docker Swarm mode(docker swarm init)或 Kubernetes/CNI;下面的命令主要用于理解 overlay 的工作原理。
1. 部署 Consul
在 10.0.0.101 上部署 Consul:
docker run -d \
--network host \
--restart always \
--name=dev-consul \
-e CONSUL_BIND_INTERFACE=ens33 \
consul:1.15.4如果网卡名不是 ens33,需要改成实际名称(例如 eth0)。
检查端口:
ss -ntl | grep 8500Web UI:
http://10.0.0.101:8500/ui/dc1/kv/docker/nodes/2. 配置两个节点的 Docker
节点 10.0.0.101 的 /etc/docker/daemon.json:
{
"cluster-store": "consul://10.0.0.101:8500",
"cluster-advertise": "10.0.0.101:6666"
}节点 10.0.0.102 的 /etc/docker/daemon.json:
{
"cluster-store": "consul://10.0.0.101:8500",
"cluster-advertise": "10.0.0.102:8888"
}分别重启 Docker:
systemctl restart docker重启 Docker 会停止没有设置重启策略的容器,生产环境操作前要先确认影响范围。
3. 创建 overlay 网络
在任意一个客户端节点执行:
docker network create -d overlay \
--subnet 172.30.0.0/16 \
--gateway 172.30.0.254 \
overlay-net另一个节点会自动同步:
docker network ls
# overlay-net overlay global4. 两个节点分别启动容器
节点 10.0.0.102:
docker run --rm -it --name c1 \
--network overlay-net \
example/apps:v1 sh节点 10.0.0.101:
docker run --rm -it --name c2 \
--network overlay-net \
example/apps:v1 sh查看 IP:
c1: 172.30.0.1
c2: 172.30.0.2跨主机测试:
ping 172.30.0.1 -c 3
# 3 packets transmitted, 3 received, 0% packet lossoverlay 网络默认可以访问外网:
ping baidu.com -c 35. 验证 VXLAN
# 观察访问外网的 ICMP(经 docker_gwbridge)
tcpdump -i docker_gwbridge -nn icmp
# 观察跨主机 VXLAN 封装(默认 UDP 4789)
tcpdump -i ens33 -nn udp port 4789可以观察到:
跨主机容器通信通过
vxlan封装,走物理网卡eth0/ens33;访问外网的流量走
docker_gwbridge,由宿主机做 NAT;如果 overlay 使用了不同的 VXLAN 端口,按实际端口调整抓包过滤条件。
6. 常见错误
endpoint with name c1 already exists in network overlay-net原因:该 overlay 网络中已经存在同名容器,容器名不能重复。
解决:修改容器名,或先删除旧容器。
八、macvlan 与 overlay 对比
Docker 原生网络的局限
容器重建后 IP 可能变化,配置文件里写死 IP 会导致服务不可用;
macvlan 跨主机没有内置 DNS,需要依赖外部 DNS 或服务发现;
旧版 overlay 依赖 Consul,维护成本较高;
大规模生产环境通常交给 Swarm、Kubernetes 或 CNI 插件管理。
九、Linux namespace 资源隔离
1. namespace 类型
2. NET namespace 实验
创建命名空间:
ip netns add demo-ns
ls -l /var/run/netns/demo-ns
ip netns exec demo-ns ip a刚创建时只有 lo,而且默认是 down 状态:
ip netns exec demo-ns ping 127.0.0.1
ip netns exec demo-ns ifconfig lo up
ip netns exec demo-ns ping 127.0.0.1创建一对 veth 网卡:
ip link add veth100 type veth peer name veth200
ip a把 veth200 放入命名空间:
ip link set veth200 netns demo-ns
ip a给命名空间内的网卡配 IP:
ip netns exec demo-ns ifconfig veth200 172.31.100.200/24 up
ip netns exec demo-ns ip a给宿主机的 veth100 配 IP:
ifconfig veth100 172.31.100.100/24 up
ping 172.31.100.200从命名空间访问宿主机:
ip netns exec demo-ns ping 172.31.100.100如果没有默认网关,访问其他网段会失败:
ip netns exec demo-ns ping 10.0.0.102
# 失败
ip netns exec demo-ns route add default gw 172.31.100.100
ip netns exec demo-ns ping 10.0.0.102
# 成功此时仍然不能直接访问外网,因为没有配置 DNS 和 NAT:
ip netns exec demo-ns ping baidu.com抓包:
tcpdump -i veth100 -nn icmp清理实验环境:
ls -l /var/run/netns/
ip netns del demo-ns
ip link del veth1003. 验证 Docker 使用 net namespace
启动容器:
docker run -d --name c1 example/apps:v1宿主机看到的是一对 veth:
ip a
# vethxxxx@if40 ... master docker0容器内看到的是独立的 eth0:
docker exec -it c1 ip a
# eth0@if41 172.17.0.2/16这正是 veth pair + network namespace 的效果。
4. 两个容器共享网络命名空间
启动两个容器,第二个共享第一个的网络:
docker run -id --name c1 example/apps:v1 sh
docker run -id --name c2 \
--network container:c1 \
example/apps:v1 sh查看两个容器的网络:
docker exec c1 ifconfig
docker exec c2 ifconfig两者看到完全相同的 eth0 和 IP。
查看 PID:
docker inspect -f '{{.State.Pid}}' c1
docker inspect -f '{{.State.Pid}}' c2对比 /proc/<pid>/ns/net:
ls -l /proc/153340/ns/net
ls -l /proc/153417/ns/net两个进程的 net 指向同一个 namespace,而 ipc、mnt、pid、uts 等并不相同。
再验证文件系统隔离:
docker exec c1 adduser -D demo
docker exec c1 id demo
# uid=1000(demo) ...
docker exec c2 id demo
# id: unknown user demo说明共享网络命名空间不等于共享整个容器环境。
十、Linux cgroups 资源限制
1. cgroups 能控制什么
2. 手动限制 CPU(cgroup v1)
查看挂载:
mount -t cgroup创建限制组:
cd /sys/fs/cgroup/cpu
mkdir demo-cgroup
ls demo-cgroup安装并运行压力测试:
apt -y install stress
stress -c 4 -v -t 20m限制到 30% CPU:
cd /sys/fs/cgroup/cpu/demo-cgroup
echo 30000 > cpu.cfs_quota_us把进程加入限制组:
ps -ef | grep stress | grep -v grep
# 下面的 PID 用上一条命令查到的 stress 进程号替换
echo 9862 >> tasks
echo 9863 >> tasks
echo 9864 >> tasks
echo 9865 >> tasks
echo 9866 >> taskscpu.cfs_quota_us=30000 配合默认周期 100000,表示限制为单核的 30%。
现代发行版多数使用 cgroup v2,
/sys/fs/cgroup/cpu/...和cpu.cfs_quota_us可能不存在;Docker 的--cpus、--memory参数仍然可用。
3. Docker 资源限制
启动受限容器:
docker run -id \
--cpu-quota 30000 \
-m 200m \
--name c1 \
example/linux-tools:v0.1 sh启动不受限容器:
docker run -id --name c2 example/linux-tools:v0.1 sh查看资源:
docker stats c1 c2 --no-stream不受限的 c2:
MEM USAGE / LIMIT
1.426MiB / 3.81GiB受限的 c1:
MEM USAGE / LIMIT
1.176MiB / 200MiB4. CPU 压力测试
终端一:
docker exec c1 stress -c 4 -v -t 20m终端二:
docker stats c1CPU 使用率稳定在约 29%:
CPU % MEM USAGE / LIMIT
28.84% 1.973MiB / 200MiB5. 内存压力测试
docker exec c1 stress \
--cpu 8 \
--io 4 \
--vm 2 \
--vm-bytes 128M \
--timeout 10m观察:
docker stats c1内存接近上限:
CPU % MEM USAGE / LIMIT MEM %
29.56% 199.8MiB / 200MiB 99.88%容器超过内存限制时可能被 OOM Killer 终止,可以用
docker inspect查看OOMKilled状态。
6. 在线修改资源限制
对已经运行的容器调整 CPU 和内存:
docker container update \
--cpu-quota 20000 \
-m 200m \
--memory-swap 200m \
c2再次查看:
docker stats c2调整后,c2 的 CPU 被限制到约 20%,内存上限变为 200MiB。
也可以使用更直观的
--cpus 0.2,它等价于 20% 的单核 CPU。--memory-swap等于--memory时表示禁用 swap。
十一、总结与命令速查
1. 网络方案选择
2. 网络命令
3. 资源限制命令
docker run --cpus 0.5 -m 512m nginx
docker stats <container> --no-stream
docker container update --cpus 0.2 -m 200m <container>
docker inspect <container> | grep -i oom4. 核心结论
自定义 bridge 网络支持容器名解析,适合单机服务编排;
macvlan 适合小规模、固定 IP 的二层网络,但默认不能访问宿主机和外网;
overlay 使用 VXLAN 实现跨主机通信,现代环境建议使用 Swarm 或 Kubernetes;
namespace 负责隔离,cgroups 负责资源限制,两者共同构成容器的基础;
生产环境不要写死容器 IP,优先使用服务名和编排平台的服务发现。