Kubernetes资源限制、svc代理模式、MetalLB与静态Pod
一、resources:容器级别资源限制
apiVersion: v1
kind: Pod
metadata:
name: stress-resources
spec:
containers:
- image: harbor.example.com/demo-troubleshooting/stress:v0.1
name: stress
stdin: true
imagePullPolicy: Always
resources:
requests:
cpu: 200m # 1core = 1000m
memory: 300Mi # 期望资源,节点不满足则无法调度
limits:
cpu: 0.5 # 等效 500m
memory: 500Mi # 使用上限,不配则默认使用节点全部资源
要点:
requests是调度时的期望资源,节点不满足就调度不上;调度成功后不会立即占用,实际使用时可短时超过 requests;limits是使用上限,不配置则默认用节点全部资源。
压测命令:
stress --cpu 8 --io 4 --vm 10 --vm-bytes 128M --timeout 10m
二、ResourceQuota:名称空间粒度限制
作用:限制名称空间的计算资源、存储资源、资源数量等总量。
1. 计算资源限制
apiVersion: v1
kind: ResourceQuota
metadata:
name: compute-resources
namespace: kube-public
spec:
hard:
requests.cpu: "1"
limits.cpu: "2"
requests.memory: 2Gi
limits.memory: 3Gi
# requests.nvidia.com/gpu: 4
2. 对象数量限制
apiVersion: v1
kind: ResourceQuota
metadata:
name: object-counts
namespace: kube-public
spec:
hard:
pods: "10"
count/deployments.apps: "3"
count/services: "3"
注意事项:
- 多个 quota 只要命中其中任意一个限制就会被卡住;quota 是名称空间粒度,无法针对单个 Pod 限制;
- 做实验时多个 quota 会相互影响,做完记得删掉。
三、LimitRange:最大最小与默认值
作用:限制单个 Pod 容器申请资源的最大值、最小值和默认值。
1. 最大 / 最小值
apiVersion: v1
kind: LimitRange
metadata:
name: cpu-memory-min-max
namespace: kube-public
spec:
limits:
- max:
cpu: 2
memory: 4Gi
min:
cpu: 200m
memory: 100Mi
type: Container
容器 limits 超过 max 或低于 min 都会被拒绝。
2. 默认值
spec:
limits:
- max:
cpu: 2
memory: 4Gi
min:
cpu: 200m
memory: 100Mi
type: Container
defaultRequest:
cpu: 200m
memory: 500Mi
default:
cpu: 1
memory: 2Gi
未显式设置 resources 的容器会套用这些默认值。
四、限制资源的三种方式
- 资源清单里写
spec.containers[].resources(requests / limits); - ResourceQuota:名称空间粒度限制计算资源、存储资源、资源数量总量;
- LimitRange:针对单个 Pod / 容器的最小值、最大值和默认值。
五、svc 的代理模式:kube-proxy
svc 的底层由 kube-proxy 实现代理,工作模式有两种。
| 模式 | 说明 |
|---|---|
| iptables | 每条规则绑定到一个 chain,规则多时按顺序遍历,时间复杂度 O(N);编写和维护较麻烦 |
| ipvs | 基于 IPVS 负载均衡,时间复杂度 O(1),性能更高 |
生产环境推荐 ipvs。
查看默认模式:
kubectl get pods -n kube-system -l k8s-app=kube-proxy
kubectl -n kube-system logs kube-proxy-2vxh9
# "Using iptables Proxier" # 默认 iptables
iptables 代理链路
访问 svc 的 VIP 时,iptables 依次做:KUBE-SERVICES 命中 svc → KUBE-SVC-* 按概率随机分发 → KUBE-SEP-* 做 DNAT 到后端 Pod。
iptables-save | grep 10.200.0.10 # KUBE-SERVICES 规则
iptables-save | grep KUBE-SVC-ERIFXISQEP7F7OF4 # 分发规则
iptables-save | grep KUBE-SEP-W7NMFPKCVREEZRG5 # DNAT 到 10.100.0.4:53
六、切换 kube-proxy 到 ipvs
1. 所有节点加载 ipvs 模块
apt -y install conntrack ipvsadm
mkdir -pv /etc/sysconfig/modules
cat > /etc/sysconfig/modules/ipvs.modules <<'EOF'
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- ip_conntrack
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
2. 修改 kube-proxy ConfigMap
kubectl get configmap kube-proxy -n kube-system -o yaml | \
sed -e "s/strictARP: false/strictARP: true/" | kubectl apply -f - -n kube-system
kubectl get configmap kube-proxy -n kube-system -o yaml | \
sed -e 's/mode: ""/mode: "ipvs"/' | kubectl apply -f - -n kube-system
kubectl -n kube-system describe cm kube-proxy | egrep "mode|strictARP"
3. 重建 kube-proxy Pod
kubectl get pods -n kube-system -l k8s-app=kube-proxy -o jsonpath="{.items[*].metadata.name}" | \
xargs kubectl -n kube-system delete pods
生产环境建议逐个删除 kube-proxy Pod,不要批量删。
4. 验证
kubectl -n kube-system logs kube-proxy-6nnwc
# "Using ipvs Proxier"
ipvsadm -ln | grep 10.200.0.10 -A 2
# TCP 10.200.0.10:53 rr -> 10.100.0.4:53、10.100.0.5:53
七、Service 的四种类型
| 类型 | 应用场景 |
|---|---|
| ClusterIP | 集群内部相互访问 |
| NodePort | 集群外部访问 |
| LoadBalancer | 云环境使用(云厂商提供负载均衡器,如 SLB) |
| ExternalName | 代理的服务在集群外部 |
八、部署 MetalLB(LoadBalancer)
MetalLB 给裸金属 K8s 集群提供 LoadBalancer 能力,可简单理解为本地化的「云 SLB」。
1. 所有节点加载镜像
wget http://<下载服务器>/metallb/v0.14.8/demo-metallb-controller-v0.14.8.tar.gz
wget http://<下载服务器>/metallb/v0.14.8/demo-metallb-speaker-v0.14.8.tar.gz
docker load -i demo-metallb-controller-v0.14.8.tar.gz
docker load -i demo-metallb-speaker-v0.14.8.tar.gz
2. 安装 MetalLB
wget https://raw.githubusercontent.com/metallb/metallb/v0.14.8/config/manifests/metallb-native.yaml
kubectl apply -f metallb-native.yaml
kubectl get pods -n metallb-system -o wide
3. 创建地址池
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
name: demo-class-pool
namespace: metallb-system
spec:
addresses:
- 10.0.0.150-10.0.0.180
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
name: demo-advertisement
namespace: metallb-system
spec:
ipAddressPools:
- demo-class-pool
4. 创建 LoadBalancer 类型的 svc
apiVersion: v1
kind: Service
metadata:
name: xiuxian-svc-clusterip
spec:
type: LoadBalancer
selector:
apps: xiuxian
ports:
- port: 80
targetPort: 80
kubectl get svc
# xiuxian-svc-clusterip LoadBalancer 10.200.1.223 10.0.0.150 80:32679/TCP
访问方式:http://10.0.0.150/,或任意节点的 NodePort(如 http://10.0.0.231:32679/)。
九、MetalLB 自定义 EXTERNAL-IP
方式一:注解
metadata:
name: xiuxian-svc-lb-ip
annotations:
metallb.universe.tf/loadBalancerIPs: 10.0.0.155
spec:
type: LoadBalancer
selector:
apps: xiuxian
ports:
- port: 80
targetPort: 80
nodePort: 30080
方式二:loadBalancerIP 字段
spec:
type: LoadBalancer
loadBalancerIP: 10.0.0.160
selector:
apps: xiuxian
ports:
- port: 80
targetPort: 80
nodePort: 30090
指定的 IP 必须在地址池范围内,否则无法分配。
十、ExternalName 映射集群外部服务
apiVersion: v1
kind: Service
metadata:
name: svc-external
spec:
type: ExternalName
externalName: www.baidu.com # 换成实际外部域名
kubectl get svc
# svc-external ExternalName <none> www.baidu.com
kubectl exec -it <pod> -- ping svc-external
提示:
- ExternalName 映射的外部服务必须在公网有解析,或在 CoreDNS 中有记录;
- 若外部服务没有公网域名解析,需手动修改 CoreDNS 的记录解析。
十一、Endpoints 映射集群外部服务
1. ep 是什么
ep(Endpoints)存储后端真实 IP,每个 svc 都有一个同名的 ep(ExternalName 类型除外)。删除 svc 会自动删除同名的 ep。
2. 自定义 ep 映射外部服务
apiVersion: v1
kind: Endpoints
metadata:
name: demo-harbor
subsets:
- addresses:
- ip: 10.0.0.250
ports:
- port: 80
name: http
- port: 443
name: https
---
apiVersion: v1
kind: Service
metadata:
name: demo-harbor
spec:
type: ClusterIP
ports:
- port: 80
name: http
- port: 443
name: https
注意:svc 和 ep 的名字要相同,且 svc 不能写 selector,否则会用 selector 自动生成的 ep 覆盖手工 ep。
十二、静态 Pod 技术
静态 Pod 只对 Pod 资源清单生效:把清单放到 kubelet 识别的静态 Pod 目录,无需 kubectl 就能创建。kubeadm 部署的 master 组件(etcd、apiserver、controller-manager、scheduler)就是静态 Pod。
grep staticPodPath /var/lib/kubelet/config.yaml
# staticPodPath: /etc/kubernetes/manifests
ll /etc/kubernetes/manifests
# etcd.yaml / kube-apiserver.yaml / kube-controller-manager.yaml / kube-scheduler.yaml
自定义静态 Pod
cp 01-pods-xiuxian-single.yaml /etc/kubernetes/manifests/
kubectl get pods -o wide
# xiuxian-v1-master231 10.100.0.6 master231
把清单 scp 到其他节点的 manifests 目录即可在多个节点部署:
scp 01-pods-xiuxian-single.yaml worker232:/etc/kubernetes/manifests/
scp 01-pods-xiuxian-single.yaml worker233:/etc/kubernetes/manifests/
删除静态 Pod 就删除对应清单文件:
rm -f /etc/kubernetes/manifests/01-pods-xiuxian-single.yaml
注意事项:
- kubeadm 集群要保证 kubelet 开机自启,启动后自动加载静态 Pod;
- 静态 Pod 名会带节点名后缀(如
xiuxian-v1-master231); - 删掉关键静态 Pod 清单会导致集群不可用(例如移走
kube-apiserver.yaml后kubectl连不上),把文件移回即可恢复。
十三、修改 svc 的 NodePort 端口范围
默认 NodePort 范围是 30000–32767。超出范围会报错:
Invalid value: 8080: provided port is not in the valid range.
The range of valid ports is 30000-32767
修改 api-server 启动参数:
vim /etc/kubernetes/manifests/kube-apiserver.yaml
在 containers 的 command 里加一行:
- --service-node-port-range=3000-50000
让 apiserver 生效(移走再移回 manifests 文件触发重建):
mv /etc/kubernetes/manifests/kube-apiserver.yaml /tmp/
mv /tmp/kube-apiserver.yaml /etc/kubernetes/manifests/
验证:
kubectl apply -f 02-nodePort-xiuxian.yaml
kubectl get -f 02-nodePort-xiuxian.yaml
# PORT(S) 88:8080/TCP
十四、总结
- 资源限制三层:容器 resources(requests/limits)、名称空间 ResourceQuota、单 Pod LimitRange(min/max/default);
- kube-proxy 代理模式 iptables 是 O(N)、ipvs 是 O(1),生产推荐 ipvs;
- 切 ipvs 步骤:装 conntrack/ipvsadm → 加载 ipvs 模块 → 改 kube-proxy ConfigMap(strictARP、mode)→ 重建 Pod;
- Service 四种类型:ClusterIP / NodePort / LoadBalancer / ExternalName;
- MetalLB 给裸金属集群提供 LoadBalancer,配 IPAddressPool + L2Advertisement;
- ExternalName 用 CNAME 映射外部域名;Endpoints 可手动映射集群外部 IP(svc 与 ep 同名且不写 selector);
- kubeadm 的 master 组件是静态 Pod,清单在
/etc/kubernetes/manifests; - NodePort 默认 30000–32767,可通过 apiserver 的
--service-node-port-range修改。