4
0

Kubernetes资源限制、svc代理模式、MetalLB与静态Pod

2026-11-01
Kubernetes资源限制、svc代理模式、MetalLB与静态Pod

一、resources:容器级别资源限制

apiVersion: v1
kind: Pod
metadata:
  name: stress-resources
spec:
  containers:
  - image: harbor.example.com/demo-troubleshooting/stress:v0.1
    name: stress
    stdin: true
    imagePullPolicy: Always
    resources:
      requests:
        cpu: 200m      # 1core = 1000m
        memory: 300Mi  # 期望资源,节点不满足则无法调度
      limits:
        cpu: 0.5       # 等效 500m
        memory: 500Mi  # 使用上限,不配则默认使用节点全部资源

要点:

  • requests 是调度时的期望资源,节点不满足就调度不上;调度成功后不会立即占用,实际使用时可短时超过 requests;
  • limits 是使用上限,不配置则默认用节点全部资源。

压测命令:

stress --cpu 8 --io 4 --vm 10 --vm-bytes 128M --timeout 10m

二、ResourceQuota:名称空间粒度限制

作用:限制名称空间的计算资源、存储资源、资源数量等总量。

1. 计算资源限制

apiVersion: v1
kind: ResourceQuota
metadata:
  name: compute-resources
  namespace: kube-public
spec:
  hard:
    requests.cpu: "1"
    limits.cpu: "2"
    requests.memory: 2Gi
    limits.memory: 3Gi
    # requests.nvidia.com/gpu: 4

2. 对象数量限制

apiVersion: v1
kind: ResourceQuota
metadata:
  name: object-counts
  namespace: kube-public
spec:
  hard:
    pods: "10"
    count/deployments.apps: "3"
    count/services: "3"

注意事项:

  1. 多个 quota 只要命中其中任意一个限制就会被卡住;quota 是名称空间粒度,无法针对单个 Pod 限制;
  2. 做实验时多个 quota 会相互影响,做完记得删掉。

三、LimitRange:最大最小与默认值

作用:限制单个 Pod 容器申请资源的最大值、最小值和默认值。

1. 最大 / 最小值

apiVersion: v1
kind: LimitRange
metadata:
  name: cpu-memory-min-max
  namespace: kube-public
spec:
  limits:
  - max:
      cpu: 2
      memory: 4Gi
    min:
      cpu: 200m
      memory: 100Mi
    type: Container

容器 limits 超过 max 或低于 min 都会被拒绝。

2. 默认值

spec:
  limits:
  - max:
      cpu: 2
      memory: 4Gi
    min:
      cpu: 200m
      memory: 100Mi
    type: Container
    defaultRequest:
      cpu: 200m
      memory: 500Mi
    default:
      cpu: 1
      memory: 2Gi

未显式设置 resources 的容器会套用这些默认值。

四、限制资源的三种方式

  1. 资源清单里写 spec.containers[].resources(requests / limits);
  2. ResourceQuota:名称空间粒度限制计算资源、存储资源、资源数量总量;
  3. LimitRange:针对单个 Pod / 容器的最小值、最大值和默认值。

五、svc 的代理模式:kube-proxy

svc 的底层由 kube-proxy 实现代理,工作模式有两种。

模式说明
iptables每条规则绑定到一个 chain,规则多时按顺序遍历,时间复杂度 O(N);编写和维护较麻烦
ipvs基于 IPVS 负载均衡,时间复杂度 O(1),性能更高

生产环境推荐 ipvs。

查看默认模式:

kubectl get pods -n kube-system -l k8s-app=kube-proxy
kubectl -n kube-system logs kube-proxy-2vxh9
# "Using iptables Proxier"  # 默认 iptables

iptables 代理链路

访问 svc 的 VIP 时,iptables 依次做:KUBE-SERVICES 命中 svc → KUBE-SVC-* 按概率随机分发 → KUBE-SEP-* 做 DNAT 到后端 Pod。

iptables-save | grep 10.200.0.10        # KUBE-SERVICES 规则
iptables-save | grep KUBE-SVC-ERIFXISQEP7F7OF4   # 分发规则
iptables-save | grep KUBE-SEP-W7NMFPKCVREEZRG5   # DNAT 到 10.100.0.4:53

六、切换 kube-proxy 到 ipvs

1. 所有节点加载 ipvs 模块

apt -y install conntrack ipvsadm

mkdir -pv /etc/sysconfig/modules
cat > /etc/sysconfig/modules/ipvs.modules <<'EOF'
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- ip_conntrack
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

2. 修改 kube-proxy ConfigMap

kubectl get configmap kube-proxy -n kube-system -o yaml | \
  sed -e "s/strictARP: false/strictARP: true/" | kubectl apply -f - -n kube-system

kubectl get configmap kube-proxy -n kube-system -o yaml | \
  sed -e 's/mode: ""/mode: "ipvs"/' | kubectl apply -f - -n kube-system

kubectl -n kube-system describe cm kube-proxy | egrep "mode|strictARP"

3. 重建 kube-proxy Pod

kubectl get pods -n kube-system -l k8s-app=kube-proxy -o jsonpath="{.items[*].metadata.name}" | \
  xargs kubectl -n kube-system delete pods

生产环境建议逐个删除 kube-proxy Pod,不要批量删。

4. 验证

kubectl -n kube-system logs kube-proxy-6nnwc
# "Using ipvs Proxier"

ipvsadm -ln | grep 10.200.0.10 -A 2
# TCP 10.200.0.10:53 rr -> 10.100.0.4:53、10.100.0.5:53

七、Service 的四种类型

类型应用场景
ClusterIP集群内部相互访问
NodePort集群外部访问
LoadBalancer云环境使用(云厂商提供负载均衡器,如 SLB)
ExternalName代理的服务在集群外部

八、部署 MetalLB(LoadBalancer)

MetalLB 给裸金属 K8s 集群提供 LoadBalancer 能力,可简单理解为本地化的「云 SLB」。

1. 所有节点加载镜像

wget http://<下载服务器>/metallb/v0.14.8/demo-metallb-controller-v0.14.8.tar.gz
wget http://<下载服务器>/metallb/v0.14.8/demo-metallb-speaker-v0.14.8.tar.gz
docker load -i demo-metallb-controller-v0.14.8.tar.gz
docker load -i demo-metallb-speaker-v0.14.8.tar.gz

2. 安装 MetalLB

wget https://raw.githubusercontent.com/metallb/metallb/v0.14.8/config/manifests/metallb-native.yaml
kubectl apply -f metallb-native.yaml
kubectl get pods -n metallb-system -o wide

3. 创建地址池

apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: demo-class-pool
  namespace: metallb-system
spec:
  addresses:
  - 10.0.0.150-10.0.0.180
---
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: demo-advertisement
  namespace: metallb-system
spec:
  ipAddressPools:
  - demo-class-pool

4. 创建 LoadBalancer 类型的 svc

apiVersion: v1
kind: Service
metadata:
  name: xiuxian-svc-clusterip
spec:
  type: LoadBalancer
  selector:
    apps: xiuxian
  ports:
  - port: 80
    targetPort: 80
kubectl get svc
# xiuxian-svc-clusterip  LoadBalancer  10.200.1.223  10.0.0.150  80:32679/TCP

访问方式:http://10.0.0.150/,或任意节点的 NodePort(如 http://10.0.0.231:32679/)。

九、MetalLB 自定义 EXTERNAL-IP

方式一:注解

metadata:
  name: xiuxian-svc-lb-ip
  annotations:
    metallb.universe.tf/loadBalancerIPs: 10.0.0.155
spec:
  type: LoadBalancer
  selector:
    apps: xiuxian
  ports:
  - port: 80
    targetPort: 80
    nodePort: 30080

方式二:loadBalancerIP 字段

spec:
  type: LoadBalancer
  loadBalancerIP: 10.0.0.160
  selector:
    apps: xiuxian
  ports:
  - port: 80
    targetPort: 80
    nodePort: 30090

指定的 IP 必须在地址池范围内,否则无法分配。

十、ExternalName 映射集群外部服务

apiVersion: v1
kind: Service
metadata:
  name: svc-external
spec:
  type: ExternalName
  externalName: www.baidu.com   # 换成实际外部域名
kubectl get svc
# svc-external  ExternalName  <none>  www.baidu.com

kubectl exec -it <pod> -- ping svc-external

提示:

  1. ExternalName 映射的外部服务必须在公网有解析,或在 CoreDNS 中有记录;
  2. 若外部服务没有公网域名解析,需手动修改 CoreDNS 的记录解析。

十一、Endpoints 映射集群外部服务

1. ep 是什么

ep(Endpoints)存储后端真实 IP,每个 svc 都有一个同名的 ep(ExternalName 类型除外)。删除 svc 会自动删除同名的 ep。

2. 自定义 ep 映射外部服务

apiVersion: v1
kind: Endpoints
metadata:
  name: demo-harbor
subsets:
- addresses:
  - ip: 10.0.0.250
  ports:
  - port: 80
    name: http
  - port: 443
    name: https
---
apiVersion: v1
kind: Service
metadata:
  name: demo-harbor
spec:
  type: ClusterIP
  ports:
  - port: 80
    name: http
  - port: 443
    name: https

注意:svc 和 ep 的名字要相同,且 svc 不能写 selector,否则会用 selector 自动生成的 ep 覆盖手工 ep。

十二、静态 Pod 技术

静态 Pod 只对 Pod 资源清单生效:把清单放到 kubelet 识别的静态 Pod 目录,无需 kubectl 就能创建。kubeadm 部署的 master 组件(etcd、apiserver、controller-manager、scheduler)就是静态 Pod。

grep staticPodPath /var/lib/kubelet/config.yaml
# staticPodPath: /etc/kubernetes/manifests

ll /etc/kubernetes/manifests
# etcd.yaml / kube-apiserver.yaml / kube-controller-manager.yaml / kube-scheduler.yaml

自定义静态 Pod

cp 01-pods-xiuxian-single.yaml /etc/kubernetes/manifests/
kubectl get pods -o wide
# xiuxian-v1-master231  10.100.0.6  master231

把清单 scp 到其他节点的 manifests 目录即可在多个节点部署:

scp 01-pods-xiuxian-single.yaml worker232:/etc/kubernetes/manifests/
scp 01-pods-xiuxian-single.yaml worker233:/etc/kubernetes/manifests/

删除静态 Pod 就删除对应清单文件:

rm -f /etc/kubernetes/manifests/01-pods-xiuxian-single.yaml

注意事项:

  1. kubeadm 集群要保证 kubelet 开机自启,启动后自动加载静态 Pod;
  2. 静态 Pod 名会带节点名后缀(如 xiuxian-v1-master231);
  3. 删掉关键静态 Pod 清单会导致集群不可用(例如移走 kube-apiserver.yaml 后 kubectl 连不上),把文件移回即可恢复。

十三、修改 svc 的 NodePort 端口范围

默认 NodePort 范围是 30000–32767。超出范围会报错:

Invalid value: 8080: provided port is not in the valid range.
The range of valid ports is 30000-32767

修改 api-server 启动参数:

vim /etc/kubernetes/manifests/kube-apiserver.yaml

在 containers 的 command 里加一行:

- --service-node-port-range=3000-50000

让 apiserver 生效(移走再移回 manifests 文件触发重建):

mv /etc/kubernetes/manifests/kube-apiserver.yaml /tmp/
mv /tmp/kube-apiserver.yaml /etc/kubernetes/manifests/

验证:

kubectl apply -f 02-nodePort-xiuxian.yaml
kubectl get -f 02-nodePort-xiuxian.yaml
# PORT(S) 88:8080/TCP

十四、总结

  1. 资源限制三层:容器 resources(requests/limits)、名称空间 ResourceQuota、单 Pod LimitRange(min/max/default);
  2. kube-proxy 代理模式 iptables 是 O(N)、ipvs 是 O(1),生产推荐 ipvs;
  3. 切 ipvs 步骤:装 conntrack/ipvsadm → 加载 ipvs 模块 → 改 kube-proxy ConfigMap(strictARP、mode)→ 重建 Pod;
  4. Service 四种类型:ClusterIP / NodePort / LoadBalancer / ExternalName;
  5. MetalLB 给裸金属集群提供 LoadBalancer,配 IPAddressPool + L2Advertisement;
  6. ExternalName 用 CNAME 映射外部域名;Endpoints 可手动映射集群外部 IP(svc 与 ep 同名且不写 selector);
  7. kubeadm 的 master 组件是静态 Pod,清单在 /etc/kubernetes/manifests;
  8. NodePort 默认 30000–32767,可通过 apiserver 的 --service-node-port-range 修改。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!