Kubernetes Ingress、Istio灰度发布与Calico及高可用
Kubernetes Ingress、Istio 灰度发布与 Calico 及高可用实践笔记
一、Ingress 概述
1. 为什么要用 Ingress
只用 NodePort / LoadBalancer 时,多个服务要同时监听 80 端口就没办法,要么在集群外再放一台 LB 做代理。Ingress 能很好地解决这个问题。
2. 什么是 Ingress
Ingress 是一种规则,基于请求头(Host / Path)把流量路由到正确的 svc,本质是七层代理。K8s 只定义了规则并记录到 etcd,不负责执行,需要安装附加组件(ingress-nginx、traefik 等)。
3. svc 与 Ingress 的区别
| 对象 | 层级 |
|---|---|
| Service | 四层代理 |
| Ingress | 七层代理 |
4. Ingress 与 Ingress Controller
- Ingress:定义「域名 → svc」的解析规则,类似 nginx.conf 配置文件;
- Ingress Controller:执行规则的程序,类似 nginx 程序。
Ingress Controller 和内置 Pod 控制器(deploy/ds/sts 等)没关系,前者解析 Ingress 规则,后者控制 Pod 副本数。
二、基于 Helm 安装 ingress-nginx
ingress-nginx 是 K8s 官方维护的 Ingress Controller(注意和 Nginx 官方维护的「nginx-ingress」区分)。官方支持 Helm、kubectl apply、第三方插件三种安装方式。
helm repo add demo-ingress-nginx https://kubernetes.github.io/ingress-nginx
helm repo update
helm search repo ingress-nginx
helm pull demo-ingress-nginx/ingress-nginx --version 4.2.5
tar xf ingress-nginx-4.2.5.tgz
修改 values.yaml 的关键点:
- 镜像地址改成国内源(
registry.k8s.io→registry.cn-hangzhou.aliyuncs.com),并注释掉 digest; hostNetwork: true(使用宿主机网络效率最高),并把dnsPolicy改为ClusterFirstWithHostNet;kind从 Deployment 改为 DaemonSet(每个节点一个 Pod);- 只有一个 controller 时可把默认 ingress class 设为 true;
- 若后续要创建 Ingress,先把
admissionWebhooks.enabled设为 false,否则会报x509: certificate is not valid。
安装:
kubectl create ns demo-ingress
helm install demo-ingress-nginx ingress-nginx -n demo-ingress
kubectl get all -n demo-ingress -o wide
访问 http://10.0.0.232/ 返回 404 属于正常(还没有 Ingress 规则)。
三、Ingress 多域名映射案例
三个游戏(bird / killbird / doudizhu)分别部署 Deployment + ClusterIP svc,再用一个 Ingress 按域名路由。
apiVersion: apps/v1
kind: Deployment
metadata:
name: deploy-bird
spec:
replicas: 3
selector:
matchLabels:
apps: bird
template:
metadata:
labels:
apps: bird
spec:
containers:
- name: bird
image: harbor.example.com/demo-games/games:v0.2.1
---
apiVersion: v1
kind: Service
metadata:
name: svc-bird
spec:
type: ClusterIP
selector:
apps: bird
ports:
- port: 80
targetPort: 80
(killbird、doudizhu 同理,镜像分别用 v0.2.2、v0.2.3。)
Ingress 规则:
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
name: ing-demo-games
spec:
ingressClassName: nginx
rules:
- host: bird.example.com
http:
paths:
- pathType: Prefix
backend:
service:
name: svc-bird
port:
number: 80
path: /
- host: killbird.example.com
http:
paths:
- pathType: Prefix
backend:
service:
name: svc-killbird
port:
number: 80
path: /
- host: doudizhu.example.com
http:
paths:
- pathType: Prefix
backend:
service:
name: svc-doudizhu
port:
number: 80
path: /
kubectl apply -f 01-ingress-demo.yaml
kubectl get pods,svc,ing -o wide
Windows 本地 hosts 配置:
10.0.0.232 bird.example.com killbird.example.com doudizhu.example.com
## 四、Istio 概述与安装
Istio 是 Google、IBM、Lyft 联合开源的微服务 Service Mesh 框架,解决微服务的发现、连接、管理、监控和安全问题。主要特性:自动负载均衡、丰富路由规则、流量加密与认证、策略执行、深度遥测。
### 1. 下载与配置
```bash
curl -L https://istio.io/downloadIstio | ISTIO_VERSION=1.17.8 TARGET_ARCH=x86_64 sh -
tar xf istio-1.17.8-linux-amd64.tar.gz
echo 'export PATH="$PATH:`pwd`/istio-1.17.8/bin"' > /etc/profile.d/istio.sh
source /etc/profile.d/istio.sh
istioctl --help
2. 安装
istioctl install --set profile=demo -y
内置 profile:default(生产推荐)、demo(功能演示,适合 Bookinfo)、minimal(仅控制平面)、remote(多集群)、empty、preview(实验性)。
istioctl version
source istio-1.17.8/tools/istioctl.bash # 自动补全
五、Istio 灰度发布(权重路由)
核心:部署 v1 / v2 两个版本,用 VirtualService 按权重把流量分流,逐步把 v1 替换成 v2。
1. 部署两个版本
v1 和 v2 各一个 Deployment,容器用 busybox + httpd 返回 c1 / c2 作为区分。
2. 三个 Service
# apps-svc-v1 选 version: v1;apps-svc-v2 选 version: v2
apiVersion: v1
kind: Service
metadata:
name: apps-svc-all
namespace: demo
spec:
selector:
auther: demo # 用公共标签同时选中 v1 和 v2
ports:
- port: 80
targetPort: 80
name: http
3. VirtualService 权重路由
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: apps-svc-all-vs
namespace: demo
spec:
hosts:
- apps-svc-all
http:
- route:
- destination:
host: apps-svc-v1
weight: 90
- destination:
host: apps-svc-v2
weight: 10
4. 手动注入 sidecar 并测试
istioctl kube-inject -f 03-deploy-client.yaml | kubectl -n demo apply -f -
istioctl kube-inject -f 01-deploy-apps.yaml | kubectl -n demo apply -f -
kubectl -n demo exec -it <client> -- sh
while true; do curl http://apps-svc-all; sleep 0.1; done
# 大约 90% 返回 c1,10% 返回 c2
建议用 Deployment(不要用 rc),否则 istioctl 可能无法手动注入。注入后 Pod 会变成
2/2(多一个 sidecar 容器)。
六、Istio A/B 测试(基于用户匹配)
在 VirtualService 里用 match 按请求头做定向路由:
apiVersion: networking.istio.io/v1beta1
kind: VirtualService
metadata:
name: apps-svc-all-vs
namespace: demo
spec:
hosts:
- apps-svc-all
http:
- match:
- headers:
demo-username:
exact: demo
route:
- destination:
host: apps-svc-v1
- route:
- destination:
host: apps-svc-v2
说明:header 键值可自定义,exact 是精确匹配(也可用 prefix 前缀匹配);带该 header 的用户走 v1,其余走 v2。
七、卸载 Flannel
kubectl delete -f kube-flannel.yml
# 清空所有节点 flannel 相关文件
\rm -f /opt/cni/bin/flannel /etc/cni/net.d/10-flannel.conflist
\rm -rf /var/lib/cni/flannel/* /var/lib/cni/networks/cbr0/* \
/var/lib/cni/cache/* /etc/cni/net.d/*
ip link del flannel.1
ip link del cni0
reboot
重启后节点变为 NotReady(因为 CNI 已删除,还没有装新的)。
八、安装 Calico
1. 下载并创建 operator
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/tigera-operator.yaml
kubectl create -f tigera-operator.yaml
2. 修改 Pod 网段
wget https://raw.githubusercontent.com/projectcalico/calico/v3.25.2/manifests/custom-resources.yaml
sed -i '/cidr:/s#192.168#10.100#' custom-resources.yaml
grep cidr: custom-resources.yaml
# cidr: 10.100.0.0/16
3. 安装并验证
kubectl create -f custom-resources.yaml
watch kubectl get pods -n calico-system
kubectl get nodes
节点重新变 Ready 后,部署两个跨节点 Pod 互相 curl 验证网络。
九、Flannel 与 Calico 对比
| 对比项 | Flannel | Calico |
|---|---|---|
| 原理 | 基于 VXLAN 覆盖网络,每节点一个子网,flanneld 守护进程 | 基于 BGP 路由,每节点跑 Calico agent |
| 网络拓扑 | 扁平,同二层网络 | 层级,BGP 动态路由(类似 host-gw) |
| 跨网段 | vxlan 可跨网段但封装两次、效率低;host-gw 不能跨网段 | BGP 动态路由,跨网段能力更好 |
| 网络策略 | 基本靠 iptables,几乎不支持 | 通过 NetworkPolicy 对象实现,更优 |
| 平台 | K8s、Docker、Mesos 等 | 主要针对 Kubernetes |
| 性能 | VXLAN 封装有额外 CPU/网络开销 | 路由方式更高效 |
选择建议:网络需求简单、要支持多平台选 Flannel;需求复杂、要高性能和安全策略选 Calico。
十、单 master 升级为多 master(高可用)
1. 上传证书并获取 certificate key
kubeadm init phase upload-certs --upload-certs
# 得到 certificate key(重要,加入 master 时需要)
2. 生成长期 token
kubeadm token create demo.demosecret --print-join-command --ttl 0
# 得到 kubeadm join 命令(含 token 和 discovery-token-ca-cert-hash)
3. 新节点先 reset 再加入为 control-plane
kubeadm reset -f
kubeadm join 10.0.0.231:6443 \
--token demo.demosecret \
--discovery-token-ca-cert-hash sha256:<hash> \
--control-plane \
--certificate-key <certificate-key>
4. 配置 kubeconfig 并验证
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
kubectl get nodes
# 多个节点都是 control-plane,master
所有新增的 master 节点都需要
--control-plane和--certificate-key;如果还没有配置 VIP,可先用旧 master 的 IP 过渡,之后把controlPlaneEndpoint改成 VIP。
十一、总结
- Ingress 是七层代理,基于 Host / Path 路由到 svc;svc 只能做四层代理;
- ingress-nginx 是官方 Ingress Controller,安装时注意镜像源、hostNetwork、DaemonSet、admissionWebhooks 等配置;
- Istio 是 Service Mesh,安装用
istioctl install --set profile=demo,通过 sidecar 注入实现流量管理; - Istio 灰度发布用 VirtualService 的
weight权重;A/B 测试用match按 header 定向路由; - 卸载 Flannel 后节点会 NotReady,需安装新 CNI(如 Calico)恢复;
- Calico 基于 BGP 路由、性能更好、网络策略更强,Flannel 基于 VXLAN、更简单;
- 单 master 升级多 master:
upload-certs拿 certificate key → 生成长期 token → 新节点kubeadm join --control-plane --certificate-key。