帶寬利用率提升50%，騰訊云聯(lián)網(wǎng)架構(gòu)方案解析

導(dǎo)語|企業(yè)A是一家互聯(lián)網(wǎng)公司，當(dāng)前在云上計(jì)算資源已經(jīng)接近10W核，華東地域?qū)＞€流量24G+，資源部署以華東為主、華北、華南、西南等可用區(qū)為輔。該企業(yè)屬于典型的混合云架構(gòu)，本文主要分享企業(yè)A如何通過云聯(lián)網(wǎng)架構(gòu)優(yōu)化實(shí)現(xiàn)帶寬利用率提升50%，希望與大家一同交流。

一、云聯(lián)網(wǎng)背景介紹

1.對(duì)等連接概述

對(duì)等連接（Peering Connection）是一種大帶寬、高質(zhì)量的云上資源互通服務(wù)，可以幫助打通騰訊云上的資源通信鏈路。對(duì)等連接具有多區(qū)域、多賬戶、多種網(wǎng)絡(luò)異構(gòu)互通等特點(diǎn)，支持VPC間互通、VPC和黑石私有網(wǎng)絡(luò)互通，滿足不同業(yè)務(wù)的部署需求。

2.傳統(tǒng)專線概述

混合云架構(gòu)前期都是使用傳統(tǒng)的專用通道打通用戶IDC與云上VPC。如果一根物理專線需要打通多個(gè)VPC，需要通過不同的VLAN ID分別創(chuàng)建專用通道來連接多個(gè)VPC。

3.云聯(lián)網(wǎng)概述

云聯(lián)網(wǎng)（Cloud Connect Network，CCN）為用戶提供云上不同VPC間、VPC與本地?cái)?shù)據(jù)中心間（IDC）內(nèi)網(wǎng)互聯(lián)的服務(wù)。具備全網(wǎng)多點(diǎn)互聯(lián)、路由自學(xué)習(xí)、鏈路選優(yōu)及故障快速收斂等能力。

云聯(lián)網(wǎng)覆蓋全球20+地域，支持100+Gbps帶寬以及最高可達(dá)99.99%的可用性，為用戶輕松構(gòu)建極速、穩(wěn)定、安全、靈活的全球互聯(lián)網(wǎng)絡(luò)，典型應(yīng)用場(chǎng)景如下：

·VPC與VPC間高質(zhì)量內(nèi)網(wǎng)互聯(lián)：在線教育多個(gè)地域的實(shí)時(shí)音視頻系統(tǒng)、游戲加速多地域內(nèi)網(wǎng)互聯(lián)、多地域容災(zāi)架構(gòu)。

·VPC與IDC間內(nèi)網(wǎng)全互聯(lián)：一個(gè)專用通道打通多個(gè)VPC，實(shí)現(xiàn)單次接入全網(wǎng)互聯(lián)，如混合云場(chǎng)景。

云聯(lián)網(wǎng)對(duì)比對(duì)等連接和傳統(tǒng)專線的優(yōu)勢(shì)如下圖所示：

下文將從企業(yè)A的實(shí)際出發(fā)，介紹企業(yè)A采用騰訊云聯(lián)網(wǎng)的架構(gòu)優(yōu)化實(shí)踐。

二、企業(yè)A架構(gòu)現(xiàn)狀介紹

1.企業(yè)A混合云背景介紹

企業(yè)A核心業(yè)務(wù)位于華東地區(qū)，在上海有兩個(gè)VPC，一個(gè)自建IDC。在北京、成都、廣州、HK各有一個(gè)VPC，其中HK的VPC用于接入海外業(yè)務(wù)。

最終通過對(duì)等連接以及傳統(tǒng)專線通道實(shí)現(xiàn)所有云上VPC與自建IDC的互聯(lián)互通（由于傳統(tǒng)架構(gòu)互聯(lián)線路較多暫不提供具體拓?fù)?，下文提供了分解拓?fù)洌?/span>

2.公有云VPC通過對(duì)等連接互聯(lián)架構(gòu)

·企業(yè)A上海地域當(dāng)前是兩個(gè)VPC，一個(gè)是業(yè)務(wù)VPC，另外一個(gè)是用于測(cè)試的VPC，同地域兩個(gè)VPC之間理論上不限制帶寬，除非底層數(shù)據(jù)中心的DCI互聯(lián)帶寬（DCI互聯(lián)帶寬都是上T級(jí)別）被打滿才會(huì)導(dǎo)致同地域?qū)Φ冗B接丟包；

·企業(yè)A的少量海外業(yè)務(wù)通過香港2區(qū)的VPC做接入，再通過100Mbps的對(duì)等連接實(shí)現(xiàn)打通上海5區(qū)的核心業(yè)務(wù)VPC；

·企業(yè)A分布在華東、華北、華南、西南的業(yè)務(wù)VPC通過對(duì)等連接全互連實(shí)現(xiàn)業(yè)務(wù)互訪。

3.公有云VPC與自建IDC通過傳統(tǒng)專線互聯(lián)架構(gòu)

名詞解釋：NGW（底層專線網(wǎng)關(guān)集群）、QCAR（網(wǎng)絡(luò)設(shè)備）、QCPL（網(wǎng)絡(luò)設(shè)備）IDC（數(shù)據(jù)中心）。

·企業(yè)A公有云VPC到自建IDC每天峰值總流量24Gbps，正常四條10G專線均分流量為：24Gbps*25%=6Gbps；

·當(dāng)前企業(yè)A的傳統(tǒng)專線架構(gòu)是專線1與2、專線3與4相互備份，當(dāng)專線1故障，那么專線1的流量會(huì)轉(zhuǎn)發(fā)到專線2，所以每條專線的帶寬使用率不建議超過50%；

·由于企業(yè)A業(yè)務(wù)快速增長，當(dāng)前每條專線的帶寬使用率已經(jīng)達(dá)到60%。如果上圖2的專線1故障，就會(huì)有12Gbps的流量轉(zhuǎn)發(fā)到專線2，最終導(dǎo)致專線2帶寬擁塞而丟包影響業(yè)務(wù)。

4.當(dāng)前互聯(lián)架構(gòu)的挑戰(zhàn)

·公有云VPC之間互通要建立全互連的對(duì)等連接，并且每次增加VPC都有增加大量對(duì)等連接和路由，最終導(dǎo)致維護(hù)成本越來越高；

·跨地域?qū)Φ冗B接的底層網(wǎng)關(guān)集群故障無法自動(dòng)切換路由恢復(fù)，止損耗時(shí)久；

·企業(yè)A自建IDC到騰訊云的四條專線，如何實(shí)現(xiàn)中斷任何一條，另外三條專線可用均分故障鏈路的流量，最終通過最低的成本解決丟包問題；

·企業(yè)A有四個(gè)公有云VPC需要和自建IDC互通，那么需要四個(gè)專線網(wǎng)關(guān)，以及16個(gè)BGP鄰居和專線通道。后續(xù)每增加一個(gè)VPC就會(huì)增加四個(gè)專線通道，最終導(dǎo)致專線的運(yùn)維成本增加。

三、云聯(lián)網(wǎng)改造方案介紹

1.公有云VPC通過云聯(lián)網(wǎng)互聯(lián)架構(gòu)設(shè)計(jì)

·企業(yè)A所有VPC只需要加入新建云聯(lián)網(wǎng)實(shí)例，即可實(shí)現(xiàn)相互路由自動(dòng)學(xué)習(xí)，無需維護(hù)大量對(duì)等連接和大量手工添加的路由；

·所有存量VPC以及后續(xù)增量VPC互通的流量都需要通過云聯(lián)網(wǎng)實(shí)現(xiàn)，可以將該云聯(lián)網(wǎng)實(shí)例看作企業(yè)A的虛擬骨干網(wǎng)；

·多AZ（可用區(qū)）網(wǎng)關(guān)集群容災(zāi)，可用性比對(duì)等連接更高；

·跨地域云聯(lián)網(wǎng)網(wǎng)關(guān)之間會(huì)有撥測(cè)，最終選擇最優(yōu)路徑來降低延遲，提升業(yè)務(wù)穩(wěn)定性。

2.公有云VPC與自建IDC通過云聯(lián)網(wǎng)互聯(lián)架構(gòu)設(shè)計(jì)

名詞解釋：CCNGW（云聯(lián)網(wǎng)類型專線網(wǎng)關(guān)）、QCAR（網(wǎng)絡(luò)設(shè)備）、QCPL（網(wǎng)絡(luò)設(shè)備）IDC（數(shù)據(jù)中心）。

·企業(yè)A所有VPC以及四個(gè)專線網(wǎng)關(guān)都加入同一個(gè)云聯(lián)網(wǎng)實(shí)例最終實(shí)現(xiàn)相互訪問，并且無論幾個(gè)VPC和自建IDC互通只需要4個(gè)專線通道即可（簡(jiǎn)化配置復(fù)雜度，簡(jiǎn)單可靠）；

·云上VPC路由下一跳是云聯(lián)網(wǎng)，然后通過ECMP（負(fù)載均衡）四份流量到4個(gè)云聯(lián)網(wǎng)專線網(wǎng)關(guān)，最終通道底層路由將流量通過四條物理專線轉(zhuǎn)發(fā)到自建IDC（邏輯轉(zhuǎn)發(fā)路徑：VPC---CCN---專線網(wǎng)關(guān)---專線---IDC）；

·假設(shè)企業(yè)A的物理專線1再次中斷，那么QCPL1無法收到自建IDC的BGP路由。最終通過路由收斂使得云聯(lián)網(wǎng)將流量轉(zhuǎn)發(fā)給云聯(lián)網(wǎng)專線網(wǎng)關(guān)2-4，從而實(shí)現(xiàn)任意一條物理專線故障都會(huì)將流量均分給其他三條專線；

·在成本不增加的情況下，通過云聯(lián)網(wǎng)的改造將專線帶寬利用率從理論值50%提升到75%實(shí)現(xiàn)降本增效。

四、云聯(lián)網(wǎng)改造總結(jié)

1.云聯(lián)網(wǎng)改造帶來的實(shí)際收益

·企業(yè)A所有云上VPC不必兩兩之間創(chuàng)建對(duì)等連接，只需要加入云聯(lián)網(wǎng)即可實(shí)現(xiàn)全部的互聯(lián)互通，降低了云上VPC的運(yùn)維成本；

·企業(yè)A跨地域VPC互通的網(wǎng)關(guān)集群實(shí)現(xiàn)多AZ容災(zāi)，提升跨地域互通的可用性；

·企業(yè)A的四條專線峰值總流量24Gbps情況下中斷任意一條都會(huì)通過路由收斂自動(dòng)恢復(fù)業(yè)務(wù)，不必依賴于被動(dòng)等待專線修復(fù)或者降級(jí)其他業(yè)務(wù)來恢復(fù)，最終提升專線的高可用性；

·企業(yè)A云上VPC與IDC互通只需要?jiǎng)?chuàng)建4個(gè)BGP鄰居即可，也不必為每個(gè)云上VPC創(chuàng)建專線網(wǎng)關(guān)，最終極大降低專線的運(yùn)維成本。

2.云聯(lián)網(wǎng)改造注意事項(xiàng)

線上業(yè)務(wù)改造需要很謹(jǐn)慎，建議前期做好深度調(diào)研，比如相關(guān)業(yè)務(wù)特征，帶寬容量評(píng)估，當(dāng)前架構(gòu)的梳理，當(dāng)前架構(gòu)的缺點(diǎn)，新架構(gòu)是否解決老架構(gòu)缺點(diǎn)，各個(gè)地域的改造難度，是否可以平穩(wěn)切換到新架構(gòu)等。

雙方一起確認(rèn)新架構(gòu)灰度基本步驟，基本原則是：先灰度測(cè)試VPC，然后按VPC業(yè)務(wù)量從小到大的順序進(jìn)行灰度。

未使用過云聯(lián)網(wǎng)的用戶建議先創(chuàng)建測(cè)試VPC熟悉云聯(lián)網(wǎng)配置方法，具體可參考文末提供的相關(guān)文檔。

真正灰度前拉通騰訊云網(wǎng)絡(luò)專家評(píng)估新老架構(gòu)的底層網(wǎng)關(guān)路徑差異，網(wǎng)關(guān)集群的帶寬容量，底層路徑MTU差異，云聯(lián)網(wǎng)限速算法（截止2020年11月依然存在均分算法和分布式算法兩種，出于帶寬利用率最大化考慮建議分布式算法）等。

每次灰度遷移都需要有明確的變更步驟、驗(yàn)證步驟、回退步驟，最終來確?；叶软樌瓿伞?/span>

每個(gè)賬號(hào)云聯(lián)網(wǎng)數(shù)量限制5個(gè)，每個(gè)云聯(lián)網(wǎng)可以綁定的網(wǎng)絡(luò)實(shí)例（例如VPC就是一個(gè)網(wǎng)絡(luò)實(shí)例）數(shù)量限制25個(gè)。

云聯(lián)網(wǎng)跨地域帶寬限速方式有兩種，一種是地域出口限速（單地域云聯(lián)網(wǎng)總的出口限速），另外一種是地域間限速（地域A到地域B之間的帶寬限速）。

參考文檔：

[1]測(cè)試VPC配置文檔：

https://cloud.tencent.com/document/product/877/18752

[2]對(duì)等連接遷移云聯(lián)網(wǎng)配置文檔：

https://cloud.tencent.com/document/product/877/18854

[3]傳統(tǒng)專線網(wǎng)關(guān)遷移云聯(lián)網(wǎng)專線網(wǎng)關(guān)配置文檔：

https://cloud.tencent.com/document/product/877/31037