1
0

Kubernetes Ingress、Istio灰度发布与Calico及高可用

2026-11-01
2026-11-01
Kubernetes Ingress、Istio灰度发布与Calico及高可用

Kubernetes Ingress、Istio 灰度发布与 Calico 及高可用实践笔记

一、Ingress 概述

1. 为什么要用 Ingress

只用 NodePort / LoadBalancer 时,多个服务要同时监听 80 端口就没办法,要么在集群外再放一台 LB 做代理。Ingress 能很好地解决这个问题。

2. 什么是 Ingress

Ingress 是一种规则,基于请求头(Host / Path)把流量路由到正确的 svc,本质是七层代理。K8s 只定义了规则并记录到 etcd,不负责执行,需要安装附加组件(ingress-nginx、traefik 等)。

3. svc 与 Ingress 的区别

对象层级
Service四层代理
Ingress七层代理

4. Ingress 与 Ingress Controller

  • Ingress:定义「域名 → svc」的解析规则,类似 nginx.conf 配置文件;
  • Ingress Controller:执行规则的程序,类似 nginx 程序。

Ingress Controller 和内置 Pod 控制器(deploy/ds/sts 等)没关系,前者解析 Ingress 规则,后者控制 Pod 副本数。

二、基于 Helm 安装 ingress-nginx

ingress-nginx 是 K8s 官方维护的 Ingress Controller(注意和 Nginx 官方维护的「nginx-ingress」区分)。官方支持 Helm、kubectl apply、第三方插件三种安装方式。

helm repo add demo-ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update

helm search repo ingress-nginx
helm pull demo-ingress-nginx/ingress-nginx --version 4.2.5
tar xf ingress-nginx-4.2.5.tgz

修改 values.yaml 的关键点:

  1. 镜像地址改成国内源(registry.k8s.io → registry.cn-hangzhou.aliyuncs.com),并注释掉 digest;
  2. hostNetwork: true(使用宿主机网络效率最高),并把 dnsPolicy 改为 ClusterFirstWithHostNet;
  3. kind 从 Deployment 改为 DaemonSet(每个节点一个 Pod);
  4. 只有一个 controller 时可把默认 ingress class 设为 true;
  5. 若后续要创建 Ingress,先把 admissionWebhooks.enabled 设为 false,否则会报 x509: certificate is not valid。

安装:

kubectl create ns demo-ingress
helm install demo-ingress-nginx ingress-nginx -n demo-ingress
kubectl get all -n demo-ingress -o wide

访问 http://10.0.0.232/ 返回 404 属于正常(还没有 Ingress 规则)。

三、Ingress 多域名映射案例

三个游戏(bird / killbird / doudizhu)分别部署 Deployment + ClusterIP svc,再用一个 Ingress 按域名路由。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: deploy-bird
spec:
  replicas: 3
  selector:
    matchLabels:
      apps: bird
  template:
    metadata:
      labels:
        apps: bird
    spec:
      containers:
      - name: bird
        image: harbor.example.com/demo-games/games:v0.2.1
---
apiVersion: v1
kind: Service
metadata:
  name: svc-bird
spec:
  type: ClusterIP
  selector:
    apps: bird
  ports:
  - port: 80
    targetPort: 80

(killbird、doudizhu 同理,镜像分别用 v0.2.2、v0.2.3。)

Ingress 规则:

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: ing-demo-games
spec:
  ingressClassName: nginx
  rules:
  - host: bird.example.com
    http:
      paths:
      - pathType: Prefix
        backend:
          service:
            name: svc-bird
            port:
              number: 80
        path: /
  - host: killbird.example.com
    http:
      paths:
      - pathType: Prefix
        backend:
          service:
            name: svc-killbird
            port:
              number: 80
        path: /
  - host: doudizhu.example.com
    http:
      paths:
      - pathType: Prefix
        backend:
          service:
            name: svc-doudizhu
            port:
              number: 80
        path: /
kubectl apply -f 01-ingress-demo.yaml
kubectl get pods,svc,ing -o wide

Windows 本地 hosts 配置:

10.0.0.232 bird.example.com killbird.example.com doudizhu.example.com

## 四、Istio 概述与安装

Istio 是 Google、IBM、Lyft 联合开源的微服务 Service Mesh 框架,解决微服务的发现、连接、管理、监控和安全问题。主要特性:自动负载均衡、丰富路由规则、流量加密与认证、策略执行、深度遥测。

### 1. 下载与配置

```bash
curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.17.8 TARGET_ARCH=x86_64 sh -

tar xf istio-1.17.8-linux-amd64.tar.gz
echo 'export PATH="$PATH:`pwd`/istio-1.17.8/bin"' > /etc/profile.d/istio.sh
source /etc/profile.d/istio.sh
istioctl --help

2. 安装

istioctl install --set profile=demo -y

内置 profile:default(生产推荐)、demo(功能演示,适合 Bookinfo)、minimal(仅控制平面)、remote(多集群)、empty、preview(实验性)。

istioctl version
source istio-1.17.8/tools/istioctl.bash   # 自动补全

五、Istio 灰度发布(权重路由)

核心:部署 v1 / v2 两个版本,用 VirtualService 按权重把流量分流,逐步把 v1 替换成 v2。

1. 部署两个版本

v1 和 v2 各一个 Deployment,容器用 busybox + httpd 返回 c1 / c2 作为区分。

2. 三个 Service

# apps-svc-v1 选 version: v1;apps-svc-v2 选 version: v2
apiVersion: v1
kind: Service
metadata:
  name: apps-svc-all
  namespace: demo
spec:
  selector:
    auther: demo        # 用公共标签同时选中 v1 和 v2
  ports:
  - port: 80
    targetPort: 80
    name: http

3. VirtualService 权重路由

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: apps-svc-all-vs
  namespace: demo
spec:
  hosts:
  - apps-svc-all
  http:
  - route:
    - destination:
        host: apps-svc-v1
      weight: 90
    - destination:
        host: apps-svc-v2
      weight: 10

4. 手动注入 sidecar 并测试

istioctl kube-inject -f 03-deploy-client.yaml | kubectl -n demo apply -f -
istioctl kube-inject -f 01-deploy-apps.yaml | kubectl -n demo apply -f -

kubectl -n demo exec -it <client> -- sh
while true; do curl http://apps-svc-all; sleep 0.1; done
# 大约 90% 返回 c1,10% 返回 c2

建议用 Deployment(不要用 rc),否则 istioctl 可能无法手动注入。注入后 Pod 会变成 2/2(多一个 sidecar 容器)。

六、Istio A/B 测试(基于用户匹配)

在 VirtualService 里用 match 按请求头做定向路由:

apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
  name: apps-svc-all-vs
  namespace: demo
spec:
  hosts:
  - apps-svc-all
  http:
  - match:
    - headers:
        demo-username:
          exact: demo
    route:
    - destination:
        host: apps-svc-v1
  - route:
    - destination:
        host: apps-svc-v2

说明:header 键值可自定义,exact 是精确匹配(也可用 prefix 前缀匹配);带该 header 的用户走 v1,其余走 v2。

七、卸载 Flannel

kubectl delete -f kube-flannel.yml

# 清空所有节点 flannel 相关文件
\rm -f /opt/cni/bin/flannel /etc/cni/net.d/10-flannel.conflist
\rm -rf /var/lib/cni/flannel/* /var/lib/cni/networks/cbr0/* \
  /var/lib/cni/cache/* /etc/cni/net.d/*
ip link del flannel.1
ip link del cni0
reboot

重启后节点变为 NotReady(因为 CNI 已删除,还没有装新的)。

八、安装 Calico

1. 下载并创建 operator

wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/tigera-operator.yaml
kubectl create -f tigera-operator.yaml

2. 修改 Pod 网段

wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/custom-resources.yaml
sed -i '/cidr:/s#192.168#10.100#' custom-resources.yaml
grep cidr: custom-resources.yaml
# cidr: 10.100.0.0/16

3. 安装并验证

kubectl create -f custom-resources.yaml
watch kubectl get pods -n calico-system
kubectl get nodes

节点重新变 Ready 后,部署两个跨节点 Pod 互相 curl 验证网络。

九、Flannel 与 Calico 对比

对比项FlannelCalico
原理基于 VXLAN 覆盖网络,每节点一个子网,flanneld 守护进程基于 BGP 路由,每节点跑 Calico agent
网络拓扑扁平,同二层网络层级,BGP 动态路由(类似 host-gw)
跨网段vxlan 可跨网段但封装两次、效率低;host-gw 不能跨网段BGP 动态路由,跨网段能力更好
网络策略基本靠 iptables,几乎不支持通过 NetworkPolicy 对象实现,更优
平台K8s、Docker、Mesos 等主要针对 Kubernetes
性能VXLAN 封装有额外 CPU/网络开销路由方式更高效

选择建议:网络需求简单、要支持多平台选 Flannel;需求复杂、要高性能和安全策略选 Calico。

十、单 master 升级为多 master(高可用)

1. 上传证书并获取 certificate key

kubeadm init phase upload-certs --upload-certs
# 得到 certificate key(重要,加入 master 时需要)

2. 生成长期 token

kubeadm token create demo.demosecret --print-join-command --ttl 0
# 得到 kubeadm join 命令(含 token 和 discovery-token-ca-cert-hash)

3. 新节点先 reset 再加入为 control-plane

kubeadm reset -f

kubeadm join 10.0.0.231:6443 \
  --token demo.demosecret \
  --discovery-token-ca-cert-hash sha256:<hash> \
  --control-plane \
  --certificate-key <certificate-key>

4. 配置 kubeconfig 并验证

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

kubectl get nodes
# 多个节点都是 control-plane,master

所有新增的 master 节点都需要 --control-plane 和 --certificate-key;如果还没有配置 VIP,可先用旧 master 的 IP 过渡,之后把 controlPlaneEndpoint 改成 VIP。

十一、总结

  1. Ingress 是七层代理,基于 Host / Path 路由到 svc;svc 只能做四层代理;
  2. ingress-nginx 是官方 Ingress Controller,安装时注意镜像源、hostNetwork、DaemonSet、admissionWebhooks 等配置;
  3. Istio 是 Service Mesh,安装用 istioctl install --set profile=demo,通过 sidecar 注入实现流量管理;
  4. Istio 灰度发布用 VirtualService 的 weight 权重;A/B 测试用 match 按 header 定向路由;
  5. 卸载 Flannel 后节点会 NotReady,需安装新 CNI(如 Calico)恢复;
  6. Calico 基于 BGP 路由、性能更好、网络策略更强,Flannel 基于 VXLAN、更简单;
  7. 单 master 升级多 master:upload-certs 拿 certificate key → 生成长期 token → 新节点 kubeadm join --control-plane --certificate-key。

支持与分享

如果这篇文章对你有帮助,欢迎分享给更多人或者给予支持!