安全的 Kubernetes Ingress 和 Egress Controller

本文旨在描述如何部署 VoltMesh 集群，以充當部署至現(xiàn)有 Kubernetes 基礎架構中的出海應用工作負載的高可用型Ingress 和 Egress Controller。

本文提供了兩種設計方式：

設計一利用 BGP (Calico) 實現(xiàn)最佳負載均衡性能，同時提供最大冗余

設計二利用 NodePort 服務實現(xiàn)最大兼容性，但負載均衡特性欠佳，出口流量可能會丟失冗余

設計一：使用 CALICO 和 BGP 的 POD 路由

在此設計中，將 1 個三節(jié)點 VoltMesh 集群部署至現(xiàn)有 Kubernetes 集群前端，并安裝Calico CNI 網絡插件，以便為應用工作負載提供進出流量路由和網絡安全防護。盡管這一解決方案設計側重于 Calico，但也可在未封裝的情況下替代其他支持 BGP 的 CNI 插件。

您可以通過 Volterra 服務發(fā)現(xiàn)與 Kubernetes API 服務器的集成自動發(fā)現(xiàn)應用端點，從而執(zhí)行實時檢測。隨著應用工作負載不斷橫向擴展和收縮，這些應用端點或 Pod IP 將自動在 VoltMesh 源池中進行添加和刪除，有助于實現(xiàn)零接觸負載均衡器重新配置。

通過服務發(fā)現(xiàn)識別應用 Pod IP 后，VoltMesh 集群和應用 Pod 之間的 3 層路由將通過 Pod IP 路由的 BGP 通告啟用。該集群中的所有 VoltMesh 節(jié)點將直接對等互連 Calico 節(jié)點，或通過中間的“架頂式”路由器對等互連。VoltMesh 支持eBGP 和 iBGP 對等互連。

在直接對等互連 VoltMesh 節(jié)點與 Calico 節(jié)點時，請務必注意 VoltMesh 不是路由反射器服務器 —Calico 節(jié)點之間的內部對等互連對于在 Kubernetes 集群內共享 Pod IP 信息必不可少，這樣方可避免向每個 Pod 到 Pod 請求添加額外的跳數(shù)，甚至破壞 Pod 到 Pod 通信。內部對等互連可通過全網狀部署（適用于小規(guī)模部署）或通過充當路由反射器的指定Calico 節(jié)點（適用于大中規(guī)模部署）實現(xiàn)。

 為了針對應用工作負載啟用 VoltMesh Egress Controller 功能，VoltMesh 集群需要檢查離開 Kubernetes 集群的所有流量，以便在 3、4 和 7 層應用可配置的安全策略。

 如果直接對等互連 VoltMesh 節(jié)點與 Calico 節(jié)點，則集群中的單個 VoltMesh 節(jié)點將成為所有離開 Kubernetes 集群的流量的默認網關或“下一跳”。默認路由通過 BGP 從 VoltMesh 集群通告給所有 Kubernetes 節(jié)點，并由 Calico 安裝至主機操作系統(tǒng)。如果用作默認網關的 VoltMesh 節(jié)點因任何原因發(fā)生故障，VoltMesh 集群均可檢測到，并通過 BGP 自動將新的網關地址傳播到 Kubernetes 節(jié)點。

 通過中間路由器對等互連 VoltMesh 節(jié)點可以在 VoltMesh 集群和路由器之間創(chuàng)建等價多路徑 (ECMP) 路由，以支持出口流量通過所有三個 VoltMesh 節(jié)點而非單個節(jié)點進行路由，從而充分利用全主配置，而非主/備/備配置。由 VoltMesh 集群通過 BGP 傳播的默認網關不會通告給 Kubernetes 節(jié)點，每個 Kubernetes 節(jié)點的下一跳仍然是路由器。

 虛擬 IP 或 VIP 均被用于部署在 VoltMesh 集群上的所有 HTTP(S) 和 TCP 負載均衡器。當一個 VoltMesh 節(jié)點發(fā)生故障時，每個 VIP 均可使用 VRRP 實現(xiàn)高可用性，并通過 BGP 進行通告。

總結

這一設計能夠為關鍵任務應用提供高可用性和容錯性，是推薦的部署配置。