Cloudflare全球連通云背后的骨干網(wǎng)

“云”一詞的現(xiàn)代用法可以追溯到云圖標(biāo)，幾十年來在網(wǎng)絡(luò)圖譜中無處不在。云被用來表示提供網(wǎng)絡(luò)或互聯(lián)網(wǎng)服務(wù)所需的龐大而復(fù)雜的基礎(chǔ)設(shè)施組件，而無需深入了解底層的復(fù)雜性。在Cloudflare，我們通過以用戶友好且易于使用的方式提供關(guān)鍵基礎(chǔ)設(shè)施解決方案來體現(xiàn)這一原則。我們的徽標(biāo)采用云符號(hào)，反映了我們?yōu)樗杏脩艉?jiǎn)化互聯(lián)網(wǎng)基礎(chǔ)設(shè)施復(fù)雜性的承諾。

今天這篇文章旨在與大家分享我們基礎(chǔ)設(shè)施的最新情況，會(huì)重點(diǎn)介紹2024年的全球骨干網(wǎng)，并強(qiáng)調(diào)了它為我們的客戶帶來的好處、我們?cè)谑袌?chǎng)上的競(jìng)爭(zhēng)優(yōu)勢(shì)以及對(duì)我們幫助構(gòu)建更好的互聯(lián)網(wǎng)這一使命的影響。自2021年我們發(fā)布上一篇與骨干網(wǎng)相關(guān)的博文以來，我們已將骨干網(wǎng)容量（Tbps）提高了500%以上，為所有客戶解鎖了新的用例以及顯著的可靠性和性能優(yōu)勢(shì)。

Cloudflare基礎(chǔ)設(shè)施快照

截至2024年7月，Cloudflare在120多個(gè)國(guó)家/地區(qū)的330個(gè)城市設(shè)有數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心都運(yùn)行Cloudflare設(shè)備和服務(wù)。盡管這些數(shù)據(jù)中心的服務(wù)器數(shù)量和計(jì)算能力各不相同，但向各地提供Cloudflare產(chǎn)品和服務(wù)的目標(biāo)始終如一。

這些數(shù)據(jù)中心戰(zhàn)略性地分布在全球各地，以確保我們的業(yè)務(wù)覆蓋所有主要地區(qū)，并幫助我們的客戶遵守當(dāng)?shù)胤ㄒ?guī)。這是一個(gè)可編程的智能網(wǎng)絡(luò)，您的流量會(huì)盡可能傳輸?shù)阶罴训臄?shù)據(jù)中心進(jìn)行處理。這種可編程性讓我們能夠使用我們的數(shù)據(jù)本地化套件解決方案將敏感數(shù)據(jù)保持在區(qū)域范圍內(nèi)，并遵守客戶根據(jù)自身需要所施加的限制。我們網(wǎng)絡(luò)的作用是連接這些站點(diǎn)，并與客戶、公共云、合作伙伴和更廣泛的互聯(lián)網(wǎng)交換數(shù)據(jù)，這一切由我們的基礎(chǔ)設(shè)施工程和網(wǎng)絡(luò)戰(zhàn)略團(tuán)隊(duì)進(jìn)行管理。這個(gè)網(wǎng)絡(luò)為我們的產(chǎn)品奠定了基礎(chǔ)，使我們的產(chǎn)品速度快如閃電，確保每個(gè)客戶所請(qǐng)求的全球可靠性和安全性，并幫助客戶遵守?cái)?shù)據(jù)主權(quán)要求。

流量交換方式

互聯(lián)網(wǎng)是不同網(wǎng)絡(luò)和獨(dú)立自治系統(tǒng)的互連，它們通過相互交換數(shù)據(jù)來運(yùn)行。交換數(shù)據(jù)的方式有多種，但為了簡(jiǎn)單起見，我們將重點(diǎn)介紹這些網(wǎng)絡(luò)通信的兩種主要方法：對(duì)等互連和IP傳輸。為了更好地了解我們?nèi)蚬歉删W(wǎng)的優(yōu)勢(shì)，了解我們?cè)诰W(wǎng)絡(luò)中使用的這些基本連接解決方案會(huì)有所幫助。

1.對(duì)等互連：管理上獨(dú)立的互聯(lián)網(wǎng)網(wǎng)絡(luò)之間自愿互連，允許每個(gè)網(wǎng)絡(luò)的用戶之間進(jìn)行流量交換，這稱為“對(duì)等互連”。Cloudflare是全球?qū)Φ然ミB最多的網(wǎng)絡(luò)之一。我們與330個(gè)城市的ISP和其他網(wǎng)絡(luò)以及所有主要互聯(lián)網(wǎng)交換中心（IX）簽訂了對(duì)等互連協(xié)議。感興趣的各方可以隨時(shí)注冊(cè)，以與我們建立對(duì)等互連，或通過專用網(wǎng)絡(luò)互連（PNI）方式直接連接到我們的網(wǎng)絡(luò)。

2.IP傳輸：一種付費(fèi)服務(wù)，允許流量穿越或“傳輸”他人的網(wǎng)絡(luò)，通常將較小的互聯(lián)網(wǎng)服務(wù)提供商（ISP）連接到較大的互聯(lián)網(wǎng)。可以將其想象為支付通行費(fèi)以駕車進(jìn)入私人高速公路。

骨干網(wǎng)是一種專用的高容量光纖網(wǎng)絡(luò)，用于在Cloudflare的全球數(shù)據(jù)中心之間傳輸流量，在這些數(shù)據(jù)中心之間，我們使用上述流量交換方法與其他網(wǎng)絡(luò)互連。它使數(shù)據(jù)傳輸比通過公共互聯(lián)網(wǎng)傳輸更可靠。對(duì)于城市內(nèi)的連接和長(zhǎng)距離連接，我們管理自己的暗光纖或租用使用密集波分復(fù)用（DWDM）的波長(zhǎng)。DWDM是一種光纖技術(shù)，它通過在同一根光纖內(nèi)以不同波長(zhǎng)的光同時(shí)傳輸多個(gè)數(shù)據(jù)流來增強(qiáng)網(wǎng)絡(luò)容量。這就像擁有一條有多條車道的高速公路，可以讓更多的汽車在同一條高速公路上行駛。我們從世界各地的全球運(yùn)營(yíng)商合作伙伴那里購(gòu)買和租用這些服務(wù)。

骨干網(wǎng)的運(yùn)營(yíng)和好處

運(yùn)營(yíng)全球骨干網(wǎng)極具挑戰(zhàn)性，這也是許多競(jìng)爭(zhēng)對(duì)手不這么做的原因。我們接受這一挑戰(zhàn)有兩個(gè)主要原因：流量路由控制和成本效益。

對(duì)于IP傳輸，我們依賴傳輸合作伙伴將流量從Cloudflare傳輸?shù)阶罱K目標(biāo)網(wǎng)絡(luò)，從而引入了不必要的第三方依賴。相比之下，我們的骨干網(wǎng)讓我們能夠完全控制內(nèi)部和外部流量的路由，使我們能夠更有效地管理流量。這種控制至關(guān)重要，因?yàn)樗屛覀兡軌騼?yōu)化流量路由，通?？蓪?shí)現(xiàn)最低延遲路徑，如前所述。此外，通過骨干網(wǎng)處理大量流量的成本平均比IP傳輸更具成本效益。這就是為什么我們?cè)诜ㄌm克福、倫敦、阿姆斯特丹、巴黎和馬賽等地區(qū)加倍增加骨干網(wǎng)容量的原因，這些地區(qū)的流量持續(xù)增長(zhǎng)，連接解決方案廣泛可用且價(jià)格具有競(jìng)爭(zhēng)力。

我們的骨干網(wǎng)服務(wù)于內(nèi)部和外部流量。內(nèi)部流量包括使用我們的安全或性能產(chǎn)品的客戶流量，以及來自在我們的數(shù)據(jù)中心之間轉(zhuǎn)移數(shù)據(jù)的Cloudflare內(nèi)部系統(tǒng)的流量。例如，分層緩存通過將我們的數(shù)據(jù)中心劃分為下層和上層的層次結(jié)構(gòu)來優(yōu)化我們的緩存交付。如果下層數(shù)據(jù)中心沒有內(nèi)容，它們會(huì)從上層請(qǐng)求。如果上層也沒有，它們會(huì)從源服務(wù)器請(qǐng)求。此過程減少了源服務(wù)器請(qǐng)求并提高了緩存效率。考慮到我們網(wǎng)絡(luò)的規(guī)模，使用我們的骨干網(wǎng)在下層和上層數(shù)據(jù)中心與源服務(wù)器之間傳輸緩存內(nèi)容通常是最具成本效益的方法。另一個(gè)例子是Magic Transit，我們通過BGP Anycast將流量吸引到最靠近最終用戶的Cloudflare數(shù)據(jù)中心并實(shí)施我們的DDoS解決方案。我們的骨干網(wǎng)將干凈的流量傳輸?shù)轿覀兛蛻舻臄?shù)據(jù)中心，他們通過Cloudflare網(wǎng)絡(luò)互連（CNI）連接該數(shù)據(jù)中心。

我們?cè)诠歉删W(wǎng)上傳輸?shù)耐獠苛髁靠梢允莵碜云渌刺峁┥痰牧髁?，例如AWS、Oracle、阿里巴巴、Google Cloud Platform或Azure等。來自這些云提供商的源站響應(yīng)通過對(duì)等互連點(diǎn)和我們的骨干網(wǎng)傳輸?shù)骄嚯x客戶最近的Cloudflare數(shù)據(jù)中心。通過利用我們的骨干網(wǎng)，我們可以更好地控制如何在整個(gè)網(wǎng)絡(luò)中回傳這些流量，從而提高可靠性和性能，減少對(duì)公共互聯(lián)網(wǎng)的依賴。

我們的全球連通云就是公共云、辦公室和互聯(lián)網(wǎng)之間的互連，并在我們的全球骨干網(wǎng)上運(yùn)行針對(duì)性能、安全性、可編程性和可見性的受控層。

這張地圖是我們目前骨干網(wǎng)絡(luò)的簡(jiǎn)化圖，并沒有顯示所有路徑

擴(kuò)展我們的網(wǎng)絡(luò)

正如前言中所述，自2021年以來，我們的骨干網(wǎng)容量（Tbps）增加了500%以上。隨著非洲海底電纜容量的增加，我們?cè)?023年完成了全球骨干環(huán)，實(shí)現(xiàn)了一個(gè)重大里程碑。它現(xiàn)在通過陸地光纖和海底電纜覆蓋六大洲。

與中歐或美國(guó)相比，有些市場(chǎng)的互聯(lián)網(wǎng)基礎(chǔ)設(shè)施較不發(fā)達(dá)，在這些地區(qū)建設(shè)骨干網(wǎng)是我們最近網(wǎng)絡(luò)擴(kuò)張的關(guān)鍵戰(zhàn)略。我們與地區(qū)ISP合作伙伴有一個(gè)共同的目標(biāo)，那就是將數(shù)據(jù)流本地化，并盡可能靠近最終用戶。由于缺乏足夠的本地對(duì)等互連和區(qū)域基礎(chǔ)設(shè)施，流量通常會(huì)在區(qū)域外采用效率低下的路線。當(dāng)數(shù)據(jù)通過更具成本效益的國(guó)際路線和現(xiàn)有的對(duì)等互連協(xié)議進(jìn)行路由時(shí)，就會(huì)發(fā)生這種現(xiàn)象，稱為流量長(zhǎng)號(hào)效應(yīng)。

我們?cè)谟《然蛲炼涞葒?guó)家/地區(qū)的區(qū)域骨干網(wǎng)投資旨在減少對(duì)這種低效路由的需求。借助我們自己的區(qū)域內(nèi)骨干網(wǎng)，流量可以直接在同一個(gè)國(guó)家/地區(qū)內(nèi)的Cloudflare數(shù)據(jù)中心之間路由，例如從孟買到新德里再到金奈，從而減少延遲、提高可靠性，并幫助我們提供與更發(fā)達(dá)市場(chǎng)相同水平的服務(wù)質(zhì)量。我們可以將數(shù)據(jù)保持在本地，支持我們的數(shù)據(jù)本地化套件（DLS），其通過控制數(shù)據(jù)存儲(chǔ)和處理的位置來幫助企業(yè)遵守區(qū)域數(shù)據(jù)隱私法。

改善延遲和性能

此次戰(zhàn)略擴(kuò)張不僅擴(kuò)大了我們的全球覆蓋范圍，還顯著改善了我們的整體延遲。其中一個(gè)例子就是，自從我們?cè)诶锼贡竞图s翰內(nèi)斯堡之間部署骨干網(wǎng)以來，我們看到約翰內(nèi)斯堡用戶的性能得到了顯著改善。諸多客戶可以從這種延遲改善中受益，例如通過我們運(yùn)行API進(jìn)行實(shí)時(shí)交易的金融機(jī)構(gòu)，其中毫秒級(jí)的誤差就可能影響交易；或者是我們的Magic WAN用戶，我們促進(jìn)了他們分支機(jī)構(gòu)之間的站點(diǎn)到站點(diǎn)連接。

上表顯示了一個(gè)示例，我們測(cè)量了從約翰內(nèi)斯堡的最終用戶到各個(gè)源位置的非緩存源提取的往返時(shí)間（RTT），對(duì)我們的骨干網(wǎng)和公共互聯(lián)網(wǎng)的情況進(jìn)行了比較。通過在我們的骨干網(wǎng)上傳輸源請(qǐng)求，而不是使用IP傳輸或?qū)Φ然ミB，約翰內(nèi)斯堡的本地用戶獲取內(nèi)容的速度提高了22%。通過使用我們自己的骨干網(wǎng)將流量長(zhǎng)途傳輸?shù)阶罱K目的地，我們可以完全控制路徑和性能。這種延遲的改善因地點(diǎn)而異，但始終表明我們的骨干網(wǎng)基礎(chǔ)設(shè)施在提供高性能連接方面具有優(yōu)勢(shì)。

流量控制

想象一下，一個(gè)導(dǎo)航系統(tǒng)，它使用GPS來識(shí)別路線，同時(shí)使用高速公路收費(fèi)通行證，在到達(dá)最終目的地之前始終有效，您可以直行通過收費(fèi)站而無需停車。我們的骨干網(wǎng)工作原理與此非常相似。

我們的全球骨干網(wǎng)建立在兩個(gè)關(guān)鍵支柱之上。第一個(gè)是BGP（邊界網(wǎng)關(guān)協(xié)議），即互聯(lián)網(wǎng)的路由協(xié)議；第二個(gè)是分段路由MPLS（多協(xié)議標(biāo)簽交換），這是一種在IP網(wǎng)絡(luò)中跨預(yù)定義轉(zhuǎn)發(fā)路徑引導(dǎo)流量的技術(shù)。默認(rèn)情況下，分段路由提供從入口到出口路由器的端到端封裝，中間節(jié)點(diǎn)不執(zhí)行路由查找。它們通過端到端虛擬電路或隧道（稱為標(biāo)簽交換路徑）轉(zhuǎn)發(fā)流量。一旦流量進(jìn)入標(biāo)簽交換路徑，它就不能繞道進(jìn)入公共互聯(lián)網(wǎng)，而必須繼續(xù)沿著Cloudflare骨干網(wǎng)的預(yù)定路由傳輸。這并不是什么新鮮事，因?yàn)樵S多網(wǎng)絡(luò)甚至?xí)\(yùn)行“BGP免費(fèi)核心”，其中所有路由情報(bào)都在網(wǎng)絡(luò)邊緣傳輸，中間節(jié)點(diǎn)只參與從入口到出口的轉(zhuǎn)發(fā)。

在骨干網(wǎng)中利用分段路由流量工程（SR-TE）時(shí)，我們可以自動(dòng)選擇數(shù)據(jù)中心之間針對(duì)延遲和性能進(jìn)行優(yōu)化的路徑。有時(shí)，就路由協(xié)議成本而言的“最短路徑”并不是延遲最低或性能最高的路徑。

增加動(dòng)力：Argo和全球骨干網(wǎng)

Argo Smart Routing是一項(xiàng)服務(wù)，它使用Cloudflare的骨干網(wǎng)、傳輸和對(duì)等互連組合來查找用戶請(qǐng)求所在的數(shù)據(jù)中心和后端源服務(wù)器之間的最優(yōu)路徑。如果可以提高性能，Argo可能會(huì)在前往源服務(wù)器的途中將請(qǐng)求從一個(gè)Cloudflare數(shù)據(jù)中心轉(zhuǎn)發(fā)到另一個(gè)數(shù)據(jù)中心。Orpheus是Argo的對(duì)應(yīng)產(chǎn)品，它免費(fèi)為所有客戶源請(qǐng)求繞過降級(jí)路徑。Orpheus能夠?qū)崟r(shí)分析網(wǎng)絡(luò)狀況并主動(dòng)避免可達(dá)性故障。啟用Argo的客戶在處理從Cloudflare數(shù)據(jù)中心到其源服務(wù)器的請(qǐng)求時(shí)可以獲得最佳性能，而Orpheus則為所有客戶提供普遍的錯(cuò)誤自我修復(fù)。通過將使用分段路由的全球骨干網(wǎng)作為底層，將Argo Smart Routing和Orpheus作為連接覆蓋層，將二者結(jié)合起來，我們能夠沿著我們可用的最優(yōu)化路徑傳輸關(guān)鍵客戶流量。

那么我們的全球骨干網(wǎng)與Argo Smart Routing究竟是如何配合的呢？Argo Transit Selection是Argo Smart Routing的擴(kuò)展，其中明確選擇Cloudflare數(shù)據(jù)中心躍點(diǎn)之間的最低延遲路徑并用于轉(zhuǎn)發(fā)客戶源請(qǐng)求。最低延遲路徑通常是我們的全球骨干網(wǎng)，因?yàn)榕c第三方傳輸網(wǎng)絡(luò)相比，它是一種更為專用、更私密的連接方式。

假設(shè)一家跨國(guó)的荷蘭制藥公司依靠Cloudflare的網(wǎng)絡(luò)和服務(wù)以及我們的SASE解決方案來連接其全球分公司、研究中心和遠(yuǎn)程員工。其亞洲分公司依靠Cloudflare的安全解決方案和網(wǎng)絡(luò)，從亞洲分公司安全訪問中央數(shù)據(jù)中心的重要數(shù)據(jù)。如果區(qū)域間電纜中斷，我們的網(wǎng)絡(luò)會(huì)自動(dòng)尋找最佳的替代路線，從而將業(yè)務(wù)影響降到最低。

Argo會(huì)衡量不同提供商路徑（包括我們自己的骨干網(wǎng)）的每種潛在組合，作為使用智能路由到達(dá)源站的一種選擇。由于我們與眾多網(wǎng)絡(luò)的廣泛互連以及我們的全球?qū)Ｓ霉歉删W(wǎng)，Argo能夠識(shí)別出請(qǐng)求性能最高的網(wǎng)絡(luò)路徑。骨干網(wǎng)始終是Argo可從中選擇的最低延遲路徑之一。

除了高性能之外，我們還非常關(guān)心客戶的網(wǎng)絡(luò)可靠性。這意味著我們需要盡可能地抵御光纖切斷和第三方傳輸提供商的問題。下圖是在AAE-1（亞非歐1號(hào)）海底電纜中斷期間，Argo在新加坡和阿姆斯特丹之間看到的部分傳輸提供商路徑與骨干網(wǎng)的對(duì)比情況。

較大的（紫線）峰值表明，由于擁塞，我們的第三方IP傳輸提供商路徑之一的延遲增加，該問題最終通過提供商網(wǎng)絡(luò)內(nèi)的流量工程得到解決?？梢钥吹剑c其他傳輸網(wǎng)絡(luò)相比，有一家提供商的延遲增加較小（黃線），但仍然很明顯。圖表底部（綠線）是我們的骨干網(wǎng)，由于我們?cè)趤喼藓蜌W洲之間擁有多樣化的骨干網(wǎng)連接，因此在整個(gè)事件期間往返時(shí)間基本保持不變。在整個(gè)光纖中斷期間，阿姆斯特丹和新加坡之間的延遲保持穩(wěn)定在200毫秒左右。沒有像傳輸提供商路徑上那樣出現(xiàn)明顯的網(wǎng)絡(luò)故障，因此Argo會(huì)積極利用骨干網(wǎng)來實(shí)現(xiàn)最佳性能。

CTA（行動(dòng)號(hào)召）

隨著Argo改進(jìn)我們網(wǎng)絡(luò)的性能，Cloudflare網(wǎng)絡(luò)互連（CNI）也優(yōu)化了接入。我們鼓勵(lì)我們的企業(yè)客戶在切實(shí)可行的情況下使用我們的免費(fèi)CNI作為接入我們網(wǎng)絡(luò)的入口。通過這種方式，您可以充分利用我們的網(wǎng)絡(luò)，包括我們強(qiáng)大的骨干網(wǎng)，并提高Cloudflare全球連通云中每款產(chǎn)品的整體性能。最終，我們的全球網(wǎng)絡(luò)是我們的主要產(chǎn)品，而我們的骨干網(wǎng)在其中發(fā)揮著關(guān)鍵作用。通過這種方式，我們將繼續(xù)通過為世界各地的每個(gè)人提供更好的服務(wù)來幫助構(gòu)建更好的互聯(lián)網(wǎng)。